E aí pessoal, tudo certo? No PET Redação de hoje vamos falar sobre Elasticsearch, que nada mais é do que um mecanismo de busca e análise de dados distribuído, gratuito e aberto para todos os tipos de dados, incluindo textuais, numéricos, geoespaciais, estruturados e não estruturados.
O Elasticsearch é desenvolvido sobre o Apache Lucene (uma biblioteca de software de mecanismo de pesquisa gratuita e de código aberto, originalmente escrita completamente em Java) e foi lançado pela primeira vez em 2010 pela Elasticsearch N.V. (agora conhecida como Elastic). Este mecanismo é conhecido por suas REST APIs simples, natureza distribuída, velocidade e escalabilidade, o Elasticsearch é o componente central do Elastic Stack, um conjunto de ferramentas gratuitas e abertas para ingestão, enriquecimento, armazenamento, análise e visualização de dados. Comumente chamado de ELK Stack (pelas iniciais de Elasticsearch, Logstash e Kibana).
ELK:
- Elasticsearch: O Elasticsearch é o mecanismo de busca e análise de dados propriamente dito.
- Logstash: O Logstash é um pipeline gratuito e aberto de processamento de dados do lado do servidor que faz a ingestão de dados de inúmeras fontes. É usado para agregar e processar dados e enviá-los ao Elasticsearch.
- Kibana: O Kibana é uma ferramenta de visualização e gerenciamento de dados de fonte aberta para o Elasticsearch. Ele fornece recursos de visualização (histogramas, diferentes tipos de gráficos, mapas, entre outros…) em cima do conteúdo indexado em um cluster Elasticsearch.
Para que o Elasticsearch é usado?
A velocidade e escalabilidade do Elasticsearch e sua capacidade de indexar muitos tipos de conteúdo significam que ele pode ser usado para inúmeros casos, principalmente entre os seguintes:
- Busca em aplicação e websites
- Métricas de infraestrutura e monitoramento de container
- APM (Monitoramento de performance de aplicação)
- Análise e visualização de dados geoespaciais
- Analítica de segurança e de dados empresariais
Como o Elasticsearch funciona?
Os dados brutos fluem para a plataforma de diversas fontes diferentes, incluindo logs, metrics de sistema e aplicações web. A ingestão de dados é o processo pelo qual os dados brutos são analisados, tratados e enriquecidos antes de serem indexados no Elasticsearch. Após a indexação, os usuários podem executar consultas complexas com base em seus dados e recuperar resumos complexos dos dados. Através do Kibana, os usuários podem criar visualizações avançadas das informações, compartilhar dashboards e gerenciar os seus dados.
O que é um índice do Elasticsearch?
Um índice do Elasticsearch é um conjunto de documentos que estão relacionados entre si. Este mecanismo armazena dados como documentos JSON. Cada documento correlaciona um conjunto de chaves (nomes de campos ou propriedades) aos seus valores correspondentes (strings, números, booleanos, datas, matrizes de valores, geolocalização, etc).
O Elasticsearch usa uma estrutura de dados chamada índice invertido, que é projetada para permitir buscas de texto muito rápidas. Um índice invertido lista cada palavra exclusiva que apareça em qualquer documento e identifica todos os documentos em que cada palavra aparece.
Durante o processo de indexação, o Elasticsearch armazena documentos e desenvolve um índice invertido para tornar os dados dos documentos buscáveis praticamente em tempo real. A indexação é iniciada com a API de índice, pela qual você pode adicionar ou atualizar um documento JSON em um índice específico.
Por que usar o Elasticsearch?
O Elasticsearch é rápido. Como o Elasticsearch é desenvolvido sobre o Lucene, ele fica insuperável em busca de textos. acontecendo praticamente em tempo real, isso significa que a latência do momento em que um documento é indexado até que ele se torne buscável é muito pequena.
O Elasticsearch é distribuído de fábrica. Os documentos armazenados na plataforma são distribuídos em diferentes containers conhecidos como shards, que são duplicados para oferecer cópias redundantes dos dados em caso de falha de hardware. A natureza distribuída do Elasticsearch permite fazer a escalabilidade horizontal para centenas (talvez milhares) de servidores e manipular petabytes de dados.
O Elasticsearch é fornecido com um amplo conjunto de recursos. Além da velocidade, escalabilidade e resiliência, o ELK tem inúmeros recursos integrados avançados que tornam o armazenamento e a busca de dados ainda mais eficiente, como o gerenciamento do ciclo de vida de índices.
O Elastic Stack (ELK) simplifica a ingestão, a visualização e os relatórios de dados. As integrações facilitam o processamento dos dados antes de indexar ao Elasticsearch. O Kibana fornece visualização em tempo real dos dados, além de interfaces para acessar rapidamente os dados de APM (monitoramento de performance de aplicação), de logs e de metrics de infraestrutura.
Referências:
- https://github.com/deviantony/docker-elk
- https://www.udemy.com/course/elasticsearch-complete-guide/
- https://www.elastic.co/pt/what-is/elk-stack
