빅데이터 및 스트리밍 Certification
대규모 실시간 데이터 파이프라인 설계 및 운영
Key facts
- Level: Professional
- Field: Data Engineering & Analytics
- Estimated study time: about 30 hours
- Credential price: $149
- Exam: 62 questions · 85 minutes · pass mark 75%
About the 빅데이터 및 스트리밍 certification
빅데이터 및 스트리밍 자격증은 실시간 및 대규모 데이터 시스템을 설계·분석·운영할 수 있는 역량을 검증합니다. 배치 처리 중심의 사고방식을 넘어, 레코드가 지속적으로 유입되고 정확성이 무엇을 처리하느냐가 아니라 언제 처리하느냐에 달려 있는 무한 데이터의 세계로 나아갑니다. 시험 범위는 빅데이터의 5V, 분산 스토리지(HDFS 및 오브젝트 스토리지)와 분산 컴퓨팅 기초, Apache Kafka 심화(토픽, 파티션, 오프셋, 컨슈머 그룹, 복제, 보존, 로그 컴팩션, 정확히 한 번 처리 의미론), Apache Spark Structured Streaming 및 Apache Flink를 이용한 스트림 처리, 이벤트 시간 대 처리 시간, 윈도잉(텀블링, 슬라이딩, 세션), 워터마크와 지연 데이터 처리, 상태 기반 처리 및 체크포인팅, 전달 보장(최대 한 번, 최소 한 번, 정확히 한 번), 람다 및 카파 아키텍처, 변경 데이터 캡처 스트리밍, 역압, 메시지 큐 대 이벤트 스트림, 스트리밍 레이크하우스(Delta/Iceberg), 실시간 OLAP 저장소(Druid/ClickHouse), 스트리밍 파이프라인의 확장성·내결함성·모니터링을 포함합니다. 엔진 무관: 개념은 Kafka, Flink, Spark, Pulsar 및 관리형 클라우드 동등 서비스 전반에 적용됩니다. 응시자는 데이터 엔지니어링 전문가 자격증을 보유하거나 동등한 실무 파이프라인 경험이 있어야 합니다.
What you will learn
The official 빅데이터 및 스트리밍 study course covers:
- 빅데이터 기초 — 5V, 분산 스토리지(HDFS 및 객체 스토리지) 및 컴퓨팅을 데이터로 이동하는 원칙.
- Apache Kafka 심층 분석 — 토픽, 파티션, 오프셋, 컨슈머 그룹, 복제, 보존 및 로그 컴팩션.
- 스트림 처리 및 시간 — Spark vs Flink, 이벤트 시간 vs 처리 시간, 윈도우잉 및 지연 데이터를 위한 워터마크.
- 상태, 보장 및 내결함성 — 상태 저장 처리, 체크포인팅/복구 및 전달 의미론(at-most/at-least/exactly-once).
- 아키텍처, 분석 및 운영 — Lambda vs kappa, CDC, 백프레셔, 스트리밍 레이크하우스, 실시간 OLAP 및 모니터링.
- 실습 랩 — 스트림 프로세서 구축 — Google Colab에서 진행하는 스트리밍 캡스톤: Kafka 및 Flink의 개념을 순수 Python으로 구현 — 오프셋이 있는 파티션된 추가 전용 로그, 이벤트 시간 텀블링 윈도우, 워터마크 및 지연 데이터 처리, 정확히 한 번 처리. 클러스터 불필요, 무료 실…
Prerequisites
Frequently asked questions
- Is the 빅데이터 및 스트리밍 certificate verifiable?
- Yes. Every issued Hootix Academy certificate carries a unique credential code that anyone can verify online.
- How is the 빅데이터 및 스트리밍 exam structured?
- It is a 85-minute proctored multiple-choice exam of 62 questions; you need 75% to pass.
- Do I need to buy the course to take the exam?
- You can purchase the certification exam on its own, or bundle it with the full study course at a reduced price.
- How long does the 빅데이터 및 스트리밍 course take?
- About 30 hours of self-paced study.