최근의 추세는 텍스트 문서 외에도 이미지, 영상 등 비정형 데이터를 포함한 대규모 데이터에서 사용자가 요구하는 정보를 효율적으로 찾아내고 분석하는 시스템으로 진화하고 있습니다.
Elastic은 기존 오픈소스의 한계를 해결하고, 속도, 확장성, 정확성과 분석 기반을 제공하는 검색엔진 랭킹 1위의 솔루션입니다. 그리고 Elastic Search는 단순한 No-SQL DB나 검색엔진이 아닙니다 수집/저장/시각화 모듈을 모두 포함한 데이터 플랫폼입니다.
당사의 Elastic기반 Big Data 플랫폼은 Beats, Logstash, Elastic Search, Elastic Stack, 메세지큐, ES-hadoop, Machine Learning, Kibana 등으로 구성되어 고객사가 원하는 Monitoring, Metrics, Security, APM, Search 등 다양한 기능을 제공합니다.
대용량 데이터를 효율적으로 수집하고 관리가 필요한 고객사라면 어디든지 기업 환경에 맞추어 데이터 수집부터 적재, 분석 및 데이터 공유 인프라를 최적화된 빅데이터 솔루션으로 제공합니다
Elastic 기반 Big Data 플랫폼
현재 수행하고 있는 빅데이터 관리 플랫폼 영역에 DW, DI/BI를 연계하여 영역을 더욱 확장하고, 파트너 사와의 협력을 통해 분석 플랫폼 영역을 포함한 Big Data 전체 영역을 사업 범위로 합니다.
빠르고, 유연하며, 안정적으로 확장 가능합니다. 다양한 데이터를 수집하고 통합 분석할 수 있습니다.
Elastic Stack의 구성
Beats, Elasticsearch, Logstash , Kibana , 메시지 큐, ES-Hadoop, Machine Learning 등으로 구성됨
Beats: 수집할 데이터의 종류에 따라 각기 다른 Beats 들이 제공됩니다.
그외에도 커뮤니티에서 만든 90여개의 오픈소스 커뮤니티 Beat가 있습니다.
Logstash : Inputs, Filters, Outputs 세단계로 이루어지며, 각 단계에 대해 다양한 설정이 가능합니다.
Inputs: 데이터를 수집 할 경로를 설정합니다. 하나 이상의 소스로부터 동시 수집이 가능합니다.
Filters: 데이터의 확장, 변환, 삭제 등을 설정합니다.
Outputs: 데이터를 전송 (저장) 할 경로를 설정합니다. 여러대상 경로로 동시에 전송이 가능합니다.
Kibana : 데이터를 시각화 / 탐색 기능 제공
Machine Learning : 데이터에 숨어 있는 이상 징후를 탐색하고 근본 원인을 찾을 수 있습니다.