키보드 깡패

전체 글161

기본기있는-카프카깡패 (5) 카프카 브로커 설치하기 계속되는 브로커 설치 시 오류로 인해... 우선 스겜 해보겠다는 마음으로 confluent의 카프카 이미지를 사용하기로 했다...구성도아래 처럼 docker 안에서 zk-net이라는 bridge 네트워크를 만들고 주키퍼 3대 + 브로커 1대 구성으로 테스트 해볼 것이다.📦 Host Machine (Docker)│├── 🐳 Container: zookeeper-1│ - 내부 포트: 2181│ - 외부 포트: 2181│ - ZOO_MY_ID: 1│ - 서버 ID: server.1│├── 🐳 Container: zookeeper-2│ - 내부 포트: 2181│ - 외부 포트: 2182│ - ZOO_MY_ID: 2│ - 서버 ID: server.2│.. DevOps/Kafka 2025. 4. 7.

기본기있는-카프카깡패 (4) 환경 설정 2.1.1 운영체제 선택하기다양한 운영체제에서 실행이 가능하나, 대체로 리눅스가 권장.2.1.2 자바 설치하기카프카와 주키퍼는 모든 OpenJDK 기반 자바 구현체 위에서 원할히 작동하니, jdk 설치를 해야함.2.1.3 주키퍼 설치하기주키퍼는 카프카 클러스터의 메타데이터와 컨슈머 클라이언트에 대한 정보를 저장하기 위해 사용 됨.주키퍼 앙상블주키퍼는 고가용성을 보장하기 위해 앙상블이라 불리는 클러스터 단위로 작동하도록 설계되어 있음.앙상블은 보통 홀수 개의 서버 권장. 주키퍼가 요청에 응답하려면 앙상블 멤버(=쿼럼)의 과반 이상이 응답해야 하기 때문. (만약 3대중 1대의 노드가 죽어도 문제없이 동작한다는 뜻.)image는 https://hub.docker.com/_/zookeeper 공식 도커 이미지 .. DevOps/Kafka 2025. 4. 7.

기본기있는-카프카깡패 (3) 1.3 왜 카프카인가? 카프카가 왜 좋은지에 대해 알아보자.1.3.1 다중 프로듀서여러 프론트엔드 시스템 (프로듀서) 로부터 데이터를 수집하고 일관성을 유지하는 게 가능.1.3.2 다중 컨슈머다수의 카프카 컨슈머는 컨슈머 그룹의 일원으로 작동하면서 하나의 스트림을 여럿이서 나눠 읽을 수 있음.1.3.3 디스크 기반 보존만약 컨슈머가 느린 처리 속도 혹은 트래픽 폭주로 인해 뒤처질 경우에도 데이터 유실의 위험이 없음. 프로듀서 쪽, 컨슈머 쪽을 잠시 정지하더라도 메시지는 카프카 안에 남아있게 되어 컨슈머가 다시 시작되면 작업을 멈춘 지점에서부터 유실 없이 데이터 처리 가능.1.3.4 확장성가용성에 영향을 주지 않으면서 클러스터 확장 가능.1.3.5 고성능1.3.6 플랫폼 기능 DevOps/Kafka 2025. 3. 31.

기본기있는-카프카깡패 (2) 1.2 카프카 입문 카프카는 메시지 발행/구독 시스템1.2.1 메시지와 배치메시지: 데이터의 기본 단위키: 메시지를 저장할 파티션을 결정하기 위해 사용됨.카프카는 효율성을 위해 메시지를 배치 단위로 저장함.배치 크기가 커질수록 시간당 처리되는 메시지 수는 늘어나지만,각각의 메시지가 전달되는 데 걸리는 시간은 늘어남.1.2.2 스키마가장 간단한 건 JSON, XML단점: 타입 처리 기능, 스키마 버전 간의 호환성 유지 기능이 떨어짐Avro조밀한 직렬화 제공메시지 본체와 스키마를 분리하기 때문에 스키마 변경 시에도 코드 생성이 필요 없음강력한 데이터 파이핑스키마 변경에 따른 상/하위 호환성 제공1.2.3 토픽과 파티션토픽: 메시지 분류 단위DB에서는 테이블과 유사, 파일시스템에서는 폴더와 유사파티션커밋로그 관점에서 하나의 로그.. DevOps/Kafka 2025. 3. 31.

기본기있는-카프카깡패 (1) 카프카 핵심 가이드 진도표 드디어 Orelly - 카프카 핵심 가이드 책이 왔다.물론 책이 없어서 공부를 못한 것은 아니지만...ㅎ한번쯤 꼼꼼하게 고시공부하듯 공부해보고 싶었기 때문에 책을 통해 정리해보려한다.개인적으로 궁금한 공부내용은 되고만다-카프카깡패 시리즈에서 알아보고,기본기있는-카프카깡패 시리즈로 매일 한 소단원씩만... 오렐리 책 정리는 해보자...✅ 1주차: 2025.03.27(목) ~ 2025.04.02(수)날짜학습 내용03/27 (목)1.1 발행/구독 메시지 전달03/28 (금)1.2 카프카 입문03/29 (토)1.3 왜 카프카인가?03/30 (일)1.4 데이터 생태계03/31 (월)1.5 카프카의 기원04/01 (화)1.6 카프카 시작하기04/02 (수)2.1 환경 설정✅ 2주차: 2025.04.03(목) ~ 2.. DevOps/Kafka 2025. 3. 27.

되고만다-카프카깡패 (1) CDC란? 올해 들고 굉장히 마음이 헤이해졌음을 느낀다. 카프카가 분명 정말 하고 싶었었는데 행복한 돼지가 되고픈 마음과 겹쳐 공부를 자꾸만 놓고 있었다. 이럴 순 없어! 프로덕션 환경에서 운영자 관점에서 Kafka를 이해해보고, 신규 Kafka 구축도 올해 꼭! 진행해보기 위해 25년 올해 4월까지는 현재 회사 운영 환경에서의 구조에서 잘 모르고 어려운 부분들을 잘 골라내서 self 공부해보려 한다.Change Data Capture(CDC)란 무엇인가데이터가 저장된 상태에서 발생하는 변경 사항을 실시간 또는 근실시간으로 포착해 다른 시스템에 전달하는 기법을 Change Data Capture(이하 CDC)라고 한다.CDC를 활용하면 기존 시스템에 큰 수정 없이 DB 로그 또는 트랜잭션 기록을 근간으로 데이터를 .. DevOps/Kafka 2025. 3. 26.

[CCAAK] Broker 개념 노트 v1.0 ✅ Kafka Broker 이해하기Kafka broker는 Apache Kafka 클러스터 내에서 데이터를 수신, 저장, 전송하는 서버이다. Kafka 생태계의 핵심 컴퓨팅 노드이며, 메시지를 불변한 순서로 저장하는 topic partition (로그 파일) 을 갖고 있음.📌 Broker의 기본Broker: 여러 개의 partition에 데이터를 저장하며, producer와 consumer 간 메시지 전달을 중계하는 서버임. Broker ID: 각 Kafka broker는 고유한 정수형 ID로 식별됨. Bootstrap Server: 모든 Kafka broker는 bootstrap server로 동작함. 클러스터 전체에 접근하기 위해서는 하나의 broker에만 연결하면 됨. Cluster: 여러 .. DevOps/Kafka 2025. 3. 24.

[리눅스 마스터 1급 1회독] 01-1-1.2 리눅스 기초 1. 리눅스의 철학1) 리눅스 관련 용어GNUFSF: ‘구속되지 않는다 관점에서의 자유’GNU GPL: GNU 소프트웨어에서 카피레프트를 실제로 구현한 라이센스커널: 주된 역할이 하드웨어 제어버전 표시 방법 (주번호는 큰변화, 부번호는 작은 변화, 패치레벨은 버그가 수정되고 새로운 기능이 추가될 시)2) 리눅스와 주요 라이센스정리: 무료이용, 배포, 소스코드 취득 및 수정은 다 가능. 그런데 수정 시 소스코드를 비공개할 수 있는 건 BSD, Apache, MIT만. 독점소프트웨어와 결합은 GPL만 불가.GPL컴퓨터 프로그램은 어떠한 목적으로도 사용할 수 있지만 법 제한 불가프로그램의 실행복사본은 소스 코드를 같이 판매하거나 무료로 공개 해야함.프로그램의 소스코드는 용도에 따라 변경할 수 있음변경된 컴퓨터.. DevOps/👣 Linux 2025. 2. 5.

[불교 서적] 진짜 나를 찾아라 (1) 자신의 일을 사랑하라생야전기현 사야전기현 (원오곡근): 살 때는 삶에 철저하여 그 전부를 살아야 하고, 죽을 때는 죽음에 철저하여 그 전부를 죽어야 한다. 생에 집착하지 않고 삶을 소유물로 생각치 않고 부지런해야한다.선이란? 최선을 다하여 현재를 살고 있다는 의미. 사람이 산다는 것은 시공간적 의미가 아닌 지금 이순간, 여기에서 이렇게 살고 있단 의미.목표가 뚜렷하지 않고 희망했던 것과 다른 길을 걷고 있다 할지라도, 우리에게 주어진 일을 열심히 하는 동안에 그 일을 크게 이룰 수 있고 현명한 사람이 될 수 있음. 일을 하면서도 육신의 일이 아니라 자기를 잊고 영의 일을 하며 구애받지 않는다면 그것이 기도의 경지이며 선의 경지이며 선의 경지.진정한 고독에 이르는 길획일회된 언어가 아닌 자신만의 언어, 사.. Etc/Buddhism 2025. 1. 27.

Java-Gradle Kafka 환경 설정하기 sdk 리스트: https://learn.conduktor.io/kafka/kafka-sdk-list/IntelliJ Idea에서 New Project 통해 Java > Gradle 선택 및 jdk 잡아주기프로젝트 하위에 새로운 module을 다음과 같이 만들어준다.maven repository로 간다: https://mvnrepository.com/artifact/org.apache.kafka가장 먼저 kafka-clients가 눈에 띌 것가장 최신 버전을 클릭해주기.거기서 Gradle을 클릭하여 복사해준 후, 그대로 dependencies 하위에 붙여넣어준다.// https://mvnrepository.com/artifact/org.apache.kafka/kafka-clientsimplementati.. DevOps/Kafka 2025. 1. 22.

[리눅스 마스터 1급 1회독] 01-1-1.1 운영체제의 개요 정리 01. 리눅스 실무의 이해1. 리눅스의 개요1.1. 운영체제의 개요운영체제의 이해1) 운영체제의 주요 역할컴퓨터의 ____를 제어작업의 ____를 정함____을 제어데이터의 ________ 처리 기능을 수행함.2) 최근 운영체제의 주요 특징다중 ____ 시스템다중 ____ 시스템____ 기술 지원운영체제의 종류1) 주요 서버 및 데스크톱 운영체제유닉스: ____ 연구소에서 시작켄 톰슨이 B언어로 개발하다 데니스 리치가 C언어를 개발해서 작성상업적 목적을 가진 계열은 ____, 그게 아니면 ____윈도우: ____ 빌게이츠에서 시작MAC OS X: ____ 사 스티브잡스에서 시작2) 모바일 운영체제안드로이드바다마에모모블린미고리모타이젠3) 리눅스 기반 모바일 운영체제4) 스마트 TV5) IVI - 약어? _.. DevOps/👣 Linux 2025. 1. 21.

[react native] 01. 내 아이폰 화면에 글자 띄워보기 (mac OS, iOS) 기본 설치할 것들 셋팅터미널에 npm install --global expo-cli터미널에서 brew install watchman아이폰 앱스토에서 Expo Go 설치계정 가입 & 로그인새 프로젝트 시작터미널에서 expo init Naa0Weatherblank 선택cd Naa0Weathercode .expo login터미널에서 expo login화면에 글자 띄워보기터미널에서 npm start폰에서 expo go 앱 열면 화면 뜸.위 같은 기본 텍스트가 App.js에 저장되어 있다.App.js에서 텍스트를 임의로 고쳐본다.고치면 이렇게 바로 화면에 실시간 변경된다. Web/🖥 React.js 2025. 1. 19.

소소한 2025 목표들... 그리고 1월 21일의 중간 평가 24년의 아쉬운 점은 초기에 목표를 구체적으로 세우지 못했다는 점과 (두루뭉술한) 이루기 힘든 목표를 좀 많이 세웠다는 점이다… 25년을 들어가기 전에 머리 속에 두루뭉술하게 하고 싶은 것들을 담고 있기 보다 초안 부터 시작하여 조금씩 계획을 다듬으며 세워볼까한다.신체적 목표"출근 시 계단 이용하기"어림도 없지, 매일 지각안하면 다행인 사람..."뇌와 몸을 같이 쓰는 운동을 배우고 싶다." (장기적으로 왠지 내가 발달하지 못한 것 같은... 전두엽에 좋다고 한다.)💫수영을 6개월 정도 꾸준히 배워보고 싶다.아직 6개월까진 아니지만... 나름 1월 출석률 한 번 빠지고, 앞으로도 긴급한 건 아니면? 빠질 마음은 없다. 아직 너무 못해서인지 하루하루 느는 게 보여서 재미있는 상태이다.💫추후에, 하반기쯤,.. Etc/🐎 Talk 2024. 12. 20.

241123 이사하며 느낀 점 241122는 미처 공부 관련 일 회고를 작성하지 못했다. (사실 배운 게 제일 많은 날이었는데… 이사 땜시 정신이 없음.)무튼, 다짐할 정리 정돈 습관이나 기타 등등 내용을 정리해보려 한다. (이 글을 다음이사 때 기억나게 할 방법이 없을까..?)이사전 날 기억해 두기미리미리 빨리빨리 버릴 물건 당근하기전 날에는 보통 짐 다 싸두고 호텔에서 자게되기 때문에 꼭! 치약, 칫솔, 속옷, 세면도구, 핸드폰 충전기 등등 정도는 챙기기. 그리고 호텔로 배달 시켜먹을 땐 맨날 실수하지만… 수저 포크 x 제발 ㅎㅎ 지우기…근데 내년부터는… 😿 부모님 연세 이슈로 포장이사 그냥 불러야 하는 게 맞는 것 같다…ㅎ 박스 7호 5개 + 5호 5개 + 그 외의 옷가지 / 신발 등은https://link.coupang.co.. Retrospect/1️⃣ Daily 2024 2024. 11. 24.

241121 일일회고 어제 10시반 퇴근 찍고 들어가서 공부좀 하다 잤는데... 컴퓨터를 오래봐서인지 잠이 너무 안왔다. 그래서 라디오 처럼 유튜브를 틀어놓고 잠이 들었는데 그 사이에 배터리가 나가버려서 폰이 꺼졌고, 10시반에 눈이 떠졌다. (ㅠㅠ) 어쩔 수 없이 12시까지 더 잠을 잔 뒤 (꿈에서 회사에 15시 도착하는 꿈을 꿈) 택시를 타고 가서 바닐라 라떼를 식사 대용으로 먹었다.왜 이렇게 기술역량 같은 것은 올리기 싫은 걸까... 이게 다 평소에 내가 한 걸 정리나 회고를 안하기 때문이란 생각이 들어서 오늘부터 달라진 나로 열심히 회고를 다시 작성해보기로 했다.업무/공부계획 (마스킹) route53 통신 확인 불가 - peering 잘못 맺어진 것 확인 불가 - authorization 수락 안.. Retrospect/1️⃣ Daily 2024 2024. 11. 21.

이전 1 2 3 4 ··· 11 다음

티스토리툴바