링크드인1

• 

  [카프카 프로그래밍] 아파치 카프카의 탄생과 기본 구조 Kafka의 탄생 배경why? 링크드인에서 소스 어플리케이션과 타깃 어플리케이션 개수가 점점 많아지면서 데이터 전송 라인이 복잡해지는 문제를 해결하기 위해과거 구성도여러 방법을 시도해 보았으나 더 복잡해짐현재 구성도 (카프카)Unified Log라는 중앙 로그를 두어 중앙 집중화 하여 개발자 입장에서도 이전에는 데이터 스토어 백엔드 관리와 백엔드에 따른 포맷, 별도의 앱 개발을 히야 했는데 이젠 카프카에만 데이터를 전달하면 나머지는 필요한 곳 또는 다른 서비스들이 각자 가져갈 수 있어서 자신들 본연의 업무에만 집중할 수 있게 되었다.메시지 큐 구조를 살린 카프카 내부 구조프로듀서가 보낸 데이터 (메시지, 토픽) 는 특정 하나의 파티션에 적재되고, 차례대로 컨슈머는 파티션에서 가져간다 (FIFO)전체적으로.. DevOps/Kafka 2024. 6. 16.