빅데이터

  • HOME
  • 빅데이터
  • iShark Big Data

iShark Big Data

iShark Big Data

  • 최근의 추세는 텍스트 문서 외에도 이미지, 영상 등 비정형 데이터를 포함한 대규모 데이터에서 사용자가 요구하는 정보를 효율적으로 찾아내고 분석하는 시스템으로 진화하고 있습니다.
  • Elastic은 기존 오픈소스의 한계를 해결하고, 속도, 확장성, 정확성과 분석 기반을 제공하는 검색엔진 랭킹 1위의 솔루션입니다. 그리고 Elastic Search는 단순한 No-SQL DB나 검색엔진이 아닙니다 수집/저장/시각화 모듈을 모두 포함한 데이터 플랫폼입니다.
  • 당사의 Elastic기반 Big Data 플랫폼은 Beats, Logstash, Elastic Search, Elastic Stack, 메세지큐, ES-hadoop, Machine Learning, Kibana 등으로 구성되어 고객사가 원하는 Monitoring, Metrics, Security, APM, Search 등 다양한 기능을 제공합니다.
  • 대용량 데이터를 효율적으로 수집하고 관리가 필요한 고객사라면 어디든지 기업 환경에 맞추어 데이터 수집부터 적재, 분석 및 데이터 공유 인프라를 최적화된 빅데이터 솔루션으로 제공합니다

Elastic 기반 Big Data 플랫폼

  • 현재 수행하고 있는 빅데이터 관리 플랫폼 영역에 DW, DI/BI를 연계하여 영역을 더욱 확장하고, 파트너 사와의 협력을 통해 분석 플랫폼 영역을 포함한 Big Data 전체 영역을 사업 범위로 합니다.
  • 빠르고, 유연하며, 안정적으로 확장 가능합니다.
    다양한 데이터를 수집하고 통합 분석할 수 있습니다.

Elastic Stack의 구성

  • Beats, Elasticsearch, Logstash , Kibana , 메시지 큐, ES-Hadoop, Machine Learning 등으로 구성됨
  • Beats: 수집할 데이터의 종류에 따라 각기 다른 Beats 들이 제공됩니다.

그외에도 커뮤니티에서 만든 90여개의 오픈소스 커뮤니티 Beat가 있습니다.

  • Logstash : Inputs, Filters, Outputs 세단계로 이루어지며, 각 단계에 대해 다양한 설정이 가능합니다.
  • Inputs: 데이터를 수집 할 경로를 설정합니다. 하나 이상의 소스로부터 동시 수집이 가능합니다.
  • Filters: 데이터의 확장, 변환, 삭제 등을 설정합니다.
  • Outputs: 데이터를 전송 (저장) 할 경로를 설정합니다. 여러대상 경로로 동시에 전송이 가능합니다.
  • Kibana : 데이터를 시각화 / 탐색 기능 제공
  • Machine Learning : 데이터에 숨어 있는 이상 징후를 탐색하고 근본 원인을 찾을 수 있습니다.