천쓰의 개발동산

2탄이다 .파일비트랑 로그스태쉬에대해서 먼저알아보자로그스태시(Logstash) [ 파이프라인 담당 ]주요 특징:데이터 수집 및 전처리: 다양한 소스에서 데이터를 수집하고 필요한 형식으로 변환, 정규화합니다.파이프라인 처리: 다양한 필터를 적용하여 데이터를 가공하고 최종 목적지로 전송합니다.다양한 입력과 출력: 다양한 데이터 소스와 대상 시스템 사이에서 중개자 역할을 수행합니다.사용 예:로그 수집 및 분석: 서버 및 애플리케이션의 로그 데이터를 수집하여 엘라스틱서치로 전송합니다.데이터 통합 및 정제: 다양한 데이터 형식을 통합하고 필요한 형식으로 변환하여 시각화나 분석에 활용합니다.실시간 데이터 처리: 실시간으로 발생하는 데이터를 처리하고 다양한 데이터 스트림을 관리합니다.파일비트(Filebeat) [ 데..

도커로 엘라스틱스택을 사용하여 로그 관리를 해야하는 상황이 생겼다 쓰기에앞서, 요정도는 알고가자!  엘라스틱서치(Elasticsearch) [ 주요특징 : 검색 데이터 저장소]엘라스틱서치는 오픈 소스 검색 및 분석 엔진으로, 빠르고 확장 가능한 풀 텍스트 검색 기능을 제공합니다. 주로 대량의 데이터를 저장하고 실시간으로 검색 및 분석하는 데 사용됩니다.주요 특징:실시간 검색 및 분석: 매우 빠른 검색 속도와 실시간 데이터 처리 능력을 갖추고 있습니다.분산 시스템: 데이터를 여러 서버에 분산 저장하여 고가용성과 확장성을 보장합니다.RESTful API: HTTP를 통해 데이터를 쉽게 인덱싱하고 검색할 수 있습니다.다양한 데이터 형식 지원: 텍스트, 숫자, 날짜 등 다양한 형식을 지원합니다.스키마리스(Sch..