Global Vendors Training

Home > > 전체교육일정

전체교육일정

Cloudera Training for Apache Kafka

교육일정
교육기간
4일
교육금액
2,634,000원(면세)
전체일정보기 수강신청

교육개요

본 과정은 Apache Kafka를 소개하고 주요 개념과 아키텍처를 설명하며 몇 가지 일반적인 사용 사례를 논의하는 것으로 시작됩니다. 이러한 기반을 바탕으로 Kafka 배포를 계획하는 방법을 배우고, Cloudera Data Platform (CDP)에서 Kafka를 실행하는 클라우드 기반 다중 노드 클러스터를 설치하고 구성하는 실습 경험을 할 수 있습니다.
그런 다음 만들어진 클러스터를 사용하여 Kafka 주제, 제작자 및 소비자를 만드는 방법부터 다양한 필수 기술을 다루는 20 개 이상의 실습을 진행합니다. 그런 다음 확장성, 안정성 및 성능 문제와 관련된 Kafka 운영 및 개발 고급 기술들을 학습합니다. 이 과정을 통해 Cloudera Manager, Schema Registry, Streams Messaging Manager 및 Cruise Control을 포함하여 Kafka 작업을 위한 Cloudera의 권장 도구를 배우고 사용하게 됩니다.



교육목표

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다.
- Kafka 클러스터 계획, 배포 및 운영
- 주제(topics) 생성 및 관리
- 생산자와 소비자 개발
- 복제를 사용하여 내결함성(fault tolerance) 향상
- 파티셔닝을 사용하여 확장성(scalability) 향상
- 일반적인 문제 및 성능 문제 해결



수강대상

시스템 관리자, 데이터 엔지니어, 개발자



선수과목

리눅스 기본 사용
Java 프로그래밍 기본 능력
Apache Kafka 경험을 필요로 하지는 않음



강의내용

1. Kafka Overview
- High-Level Architecture
- 일반적인 사용 사례
- Cloudera의 Apache Kafka 분포

2. Apache Kafka 배포
- 시스템 요구 사항 및 종속성
- 서비스 역할
- Kafka 서비스 구축 계획
Exercise: Preparing the Exercise Environment
Exercise: Cloudera Manager를 사용하여 Kafka 서비스 설치
Exercise (optional): 메트릭 대시보드 생성
Exercise (optional): CM API 사용

3. 카프카 명령줄 기본 사항
- 항목 만들기 및 관리
- Running Producers and Consumers

4. 스트림 메시징 관리자사용(SMM)
- 스트림 메시징 관리자 개요
- 생산자, 주제 및 소비자
- Data Explorer
- Brokers
- Topic Management
Exercise: CLI를 사용하여 항목 관리
Exercise: Connecting Producers and Consumers from the Command Line

5. Kafka Java API Basics
- Kafka의 API 개요
- Java API를 통한 주제 관리
- Exercise (optional): Java API를 사용하여 Kafka 항목 관리
- Using Producers and Consumers from the Java API
- Exercise: Developing Producers and Consumers with the Java API

6. 복제를 통한 가용성 향상
- Replication
Exercise: 브로커 장애로 인한 다운타임 관찰
- Considerations for the Replication Factor
Exercise: 가용성 향상을 위한 복제본 추가

7. 애플리케이션 확장성 향상
- 파티셔닝
- 메시지 분할 방법
Exercise: 파티셔닝이 성능에 미치는 영향 관찰
- Consumer Groups
Exercise: 소비자 그룹 구현
- 소비자 재조정
Exercise: Using a Key to Control Partition Assignment

8. 애플리케이션 안정성 향상
- Delivery Semantics
- 데모(선택 사항) : ISRs vs. ACKs
- Producer Delivery
Exercise: Idempotent 프로듀서
- Transactions
Exercise: 트랜잭션 생산자 및 소비자
- 소비자 오류 처리
- 간격띄우기 관리
Exercise: 중복 메시지 탐지 및 억제
Exercise: 잘못된 레코드 처리
- 생산자 오류 처리

9. SMM을 이용한 카프카 클러스터 분석
- End-to-End 대기 시간
- 알림자
- 경고 정책
- 사용 사례

10. Monitoring Kafka
- 모니터링 개요
- Cloudera Manager를 사용한 모니터링
- CM의 차트 및 보고서
- 모니터링 권장 사항
- 문제 해결을 위한 메트릭
- 서비스 오류 진단
Exercise: Monitoring Kafka

11. Managing Kafka
- Kafka 주제 저장소 관리
- 데모(선택 사항): 메시지 보존 기간
- 로그 정리 및 수집
- 파티션 재조정
- 크루즈 컨트롤
Exercise : 크루즈 컨트롤 설치
Exercise : 카프카 문제 해결 항목
- 부정한 지도자 선거
Exercise : 부정한 지도자 선거
- 브로커 추가 및 제거
Exercise : 브로커 추가 및 제거
- 모범 사례

12. 메시지 구조, 형식 및 버전 관리
- 메시지 구조
- Schema 레지스트리
- Schema 정의
- Schema 진화 및 버전 관리
- Schema 레지스트리 클라이언트
Exercise : Avro Schema 사용

13. 애플리케이션 성능 향상
- 메시지 크기
- 배치
- 압축
Exercise : 압축이 성능에 미치는 영향 관찰

14. Kafka 서비스 성능 향상
- 관리자를 위한 성능 조정 전략
- 클러스터 크기 조정
Exercise : 사용 사례에 필요한 용량 계획

15. 카프카 클러스터 확보
- 암호화
- 인증
- 허가
- Auditing