kafka2 Kafka 간단한 개념 정리 (2) Kafka 핵심요소 Broker : 카프카 애플리케이션 서버 단위 Topic : 데이터 분리 단위. 다수 파티션 보유 Partition : 레코드를 담고 있음. 컨슈머 요청 시 레코드 전달 Offset : 각 레코드당 파티션에 할당된 고유 번호 Consumer : 레코드를 polling하는 애플리케이션 Consumer group : 다수 컨슈머 묶음 Consumer offset : 특정 컨슈머가 가져간 레코드의 번호 Producer : 레코드를 브로커로 전송하는 애플리케이션 Replication : 파티션 복제 기능 ISR : 리더 + 팔로워 파티션의 sync가 된 묶음 Rack-awareness : Server rack 이슈에 대응 Kafka Client Kafka 와 데이터를 주고받기 위해 사용하는 .. 기타 2023. 12. 22. Kafka 간단한 개념 정리 (1) Kafka Before Kafka 엔드투엔드 연결 방식의 아키텍쳐였고, 데이터 연동의 복잡성의 증가, 각기 다른 데이터 파이프라인 연결 구조 After Kafka 프로듀서/컨슈머 분리, 메시지 데이터 여러 컨슈머에게 허용, 높은 처리량을 위한 메시지 최적화, 스케일 아웃 가능 Kafka broker 실행된 카프카 app 서버 중 1대 3대 이상의 브로커로 클러스터 구성 주키퍼와 연동 주키퍼 : 메타데이터(브로커id, 컨트롤러id 등) 저장 n개 브로커 중 1대는 컨트롤러 기능 수행 컨트롤러 : 각 브로커에게 담당 파티션 할당 수행. 브로커 정상 동작 모니터링 관리. 누가 컨트롤러 인지는 주키퍼에 저장. Record 객체를 프로듀서에서 컨슈머로 전달하기 위해 Kafka 내부에 byte 형태로 저장할 수 있.. 기타 2023. 12. 21. 이전 1 다음 💲 추천 글