📌2주차 목차 4장 카프카 내부 동작 원리와 구현 5장 프로듀서의 내부 동작 원리와 구현 6장 컨슈머의 내부 동작 원리와 구현 5장 프로듀서의 내부 동작 원리와 구현 📝파티셔너 메시지의 키를 해시처리해 파티션을 구하는 방식을 사용한다. 키 값을 지정하지 않는다면 키값은 null이고, 라운드로빈 알고리즘으로 랜덤 전송한다. 배치 처리시 레코드들은 파티셔너를 거쳐 프로듀서의 버퍼 메모리 영역에 대기한다. 이때 라운드로빈 방식은 효율을 떨어뜨릴 수 있다. 📍5개 레코드를 랜덤전송 한다면? 토픽A-파티션 0,1,2 순서로 5개가 들어간다. (2개, 2개, 1개 들어감) 배치 전송 최소 레코드 수가 3으로 설정되어있다면 배치는 돌지 않는다. 이런 비효율적인 전송을 보완하기 위해 스티키 파티셔닝 전략이 있다. (아..
📌2주차 목차 4장 카프카 내부 동작 원리와 구현 5장 프로듀서의 내부 동작 원리와 구현 6장 컨슈머의 내부 동작 원리와 구현 4장 카프카 내부 동작 원리와 구현 📝카프카 리플리케이션 리플리케이션 동작을 위해 토픽 생성 시 필숫값 : replication factor 옵션 설정 토픽 생성 : kafka-topics.sh 토픽 상세보기 : --describe Topic: peter-test01 PartitionCount: 1 ReplicationFactor: 3 Configs: segment.bytes=1073741824 Topic: peter-test01 Partition: 0 Leader: 1 Replication: 1, 2, 3 Isr: 1, 2, 3 토픽의 파티션 수(1), 리플리케이션 팩터 수(3..
kafka study 1주차 : 기본 개념과 구조
"실전 카프카 개발부터 운영까지" - 고승범 지음 https://book.naver.com/bookdb/book_detail.nhn?bid=21149337 실전 카프카 개발부터 운영까지 아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified Admini book.naver.com 실무에서 kafka를 사용중인데, 제대로 알고 쓰고자 스터디를 시작했다. 공부한내용 정리 목적으로 블로그에 기록을 남긴다. 📌1주차 목차 1장 카프카 개요 2장 카프카 환경 구성 3장 카프카 기본 개념과 구조 1장 카프카 개요..