LLM 추론 & 대규모 배포 Certification
대형 언어 모델을 대규모 환경에서 빠르고 저렴하고 안정적으로 서비스하기
Key facts
- Level: Professional
- Field: Artificial Intelligence & LLMs
- Estimated study time: about 38 hours
- Credential price: $149
- Exam: 75 questions · 105 minutes · pass mark 75%
About the LLM 추론 & 대규모 배포 certification
학습된 모델을 실제 트래픽 환경에서 빠르고, 경제적이며, 안정적인 프로덕션 서비스로 전환합니다. 이 전문가 자격증은 추론이 학습과 근본적으로 다른 이유, 자기회귀 디코딩 루프, 그리고 비용을 지배하는 두 단계: 컴퓨팅 병목인 프리필과 메모리 병목인 디코드를 다룹니다. KV-캐시 — 그것이 존재하는 이유, GPU 메모리에서 소모하는 비용, 그리고 가중치가 아닌 KV-캐시가 종종 처리량을 제한하는 이유 — 와 그 비용을 분산하는 배칭 전략: 정적, 동적, 연속(인-플라이트) 배칭을 마스터합니다. 핵심 서빙 도구 모음이 이어집니다: 메모리 효율적인 KV 관리를 위한 PagedAttention 및 vLLM, IO 인식 어텐션을 위한 FlashAttention, 양자화(int8/int4, GPTQ, AWQ, GGUF, 가중치 전용 대 가중치+활성화)와 그 정확도 트레이드오프, 레이턴시를 위한 투기적/보조 디코딩, 그리고 GPU 한 개에 담기지 않는 모델을 위한 텐서 병렬 처리. GPU 메모리 계산(파라미터, KV-캐시, 활성화)을 수행하고, 중요한 레이턴시 지표 — TTFT, TPOT/ITL, 엔드-투-엔드 — 를 분석하며, 처리량-레이턴시 트레이드오프를 탐색합니다. 마지막으로 서비스를 운영합니다: 자동 확장 및 로드 밸런싱, 서빙 스택 선택(vLLM / TGI / TensorRT-LLM), 프롬프트 및 프리픽스 캐싱, 비용 최적화, 모니터링 및 관찰 가능성, 서빙 시점 가드레일. 수료 후에는 실제 LLM 추론 배포를 사이징하고, 배포하고, 튜닝하고, 논리적으로 방어할 수 있게 됩니다.
What you will learn
The official LLM 추론 & 대규모 배포 study course covers:
- From Training to Inference — Why serving is a different problem: the forward-only decode loop, the prefill/decode split, and the KV-cache that defines LLM inference.
- The KV-Cache & GPU-Memory Math — Why the KV-cache exists, what it costs, and how to size weights + KV + activations for a real deployment.
- Batching & Attention Kernels — Static, dynamic, and continuous batching; PagedAttention's paged KV; and FlashAttention's IO-aware exact attention.
- Quantization & Faster Decoding — Int8/int4 weight and activation quantization (GPTQ, AWQ, GGUF), the accuracy tradeoff, and speculative decoding.
- Serving at Scale — Latency metrics, throughput/latency tradeoffs, tensor parallelism, serving stacks, caching, autoscaling, cost, observability, and guardrails.
Prerequisites
Frequently asked questions
- Is the LLM 추론 & 대규모 배포 certificate verifiable?
- Yes. Every issued Hootix Academy certificate carries a unique credential code that anyone can verify online.
- How is the LLM 추론 & 대규모 배포 exam structured?
- It is a 105-minute proctored multiple-choice exam of 75 questions; you need 75% to pass.
- Do I need to buy the course to take the exam?
- You can purchase the certification exam on its own, or bundle it with the full study course at a reduced price.
- How long does the LLM 추론 & 대규모 배포 course take?
- About 38 hours of self-paced study.