Kafka 개념1

• Kafka 간단한 개념 정리 (1) Kafka Before Kafka 엔드투엔드 연결 방식의 아키텍쳐였고, 데이터 연동의 복잡성의 증가, 각기 다른 데이터 파이프라인 연결 구조 After Kafka 프로듀서/컨슈머 분리, 메시지 데이터 여러 컨슈머에게 허용, 높은 처리량을 위한 메시지 최적화, 스케일 아웃 가능 Kafka broker 실행된 카프카 app 서버 중 1대 3대 이상의 브로커로 클러스터 구성 주키퍼와 연동 주키퍼 : 메타데이터(브로커id, 컨트롤러id 등) 저장 n개 브로커 중 1대는 컨트롤러 기능 수행 컨트롤러 : 각 브로커에게 담당 파티션 할당 수행. 브로커 정상 동작 모니터링 관리. 누가 컨트롤러 인지는 주키퍼에 저장. Record 객체를 프로듀서에서 컨슈머로 전달하기 위해 Kafka 내부에 byte 형태로 저장할 수 있.. 기타 2023. 12. 21.