<aside> 📹

ELK 적용하기 특강 녹화본

Video Conferencing, Web Conferencing, Webinars, Screen Sharing

</aside>

ELK 란 무엇일까요 ?

ELK 란 ELK Stack 이라고도 불리며 Elasticsearch, Logstash, Kibana 세 가지 오픈 소스 도구로 구성된 로그 및 데이터 분석 스택을 의미합니다.

ElasticSearch

• 분산 검색 및 실시간 데이터 분석 서비스이며 NoSQL입니다. 데이터는 문서(Document) 단위로 저장되며, 각 문서는 JSON 형식으로 저장되고 자동으로 인덱싱되어 효율적인 검색을 위해 최적화됩니다.

Logstash

• 데이터 처리 파이프라인 도구로, 다양한 소스로부터 데이터를 수집, 변환, 필터링한 후 Elasticsearch나 다른 데이터 저장소로 전송합니다. ETL(Extract, Transform, Load) 도구 역할을 하며 실시간으로 로그 데이터를 처리하는 데 적합합니다.

Kibana

• Elasticsearch 데이터를 시각화하는 대시보드 도구입니다. 사용자가 데이터를 시각적으로 탐색하고 분석할 수 있도록 다양한 그래프와 차트를 제공하며, 로그 모니터링, 메트릭 추적, 보안 분석 등의 대시보드를 쉽게 구축할 수 있습니다.

현업에서는 이것을 왜 사용할까요 ?

서비스 배포 후 고객이 이용하는 과정에서 버그가 발생하면, 문제 해결을 위해 효율적인 로그 모니터링 시스템이 필수적입니다. 배포된 EC2나 컨테이너에 매번 접속해서 로그 파일을 일일이 확인하는 것은 시간이 많이 들고 비효율적이기 때문이에요.

또한, 서비스가 성장하면서 데이터베이스의 row 수가 수십만 건 이상으로 늘어나면, 데이터를 가져오는 속도가 느려질 수 있습니다. 특히 검색 조건이 여러 개 추가될 경우, 데이터 조회 시간이 더욱 길어지는데요.

이런 문제를 해결하기 위해 실무에서는 CQRS 패턴을 적용하고, 많은 기업들이 Elasticsearch를 사용해 조회 성능을 최적화합니다. Elasticsearch는 검색과 필터링에 뛰어난 성능을 발휘하죠.

• 여기서 잠깐! Elastic Search 조회는 왜 빠른걸까요 ?

이 두 가지 문제를 한 번에 해결할 수 있는 것이 바로 ELK 스택입니다. 오늘 ELK 스택을 직접 사용해보며 그 기능들을 경험해 봅시다!