LLM 추론 & 대규모 배포 Certification
대형 언어 모델을 대규모 환경에서 빠르고 저렴하고 안정적으로 서비스하기
Key facts
- Level: Professional
- Field: Artificial Intelligence & LLMs
- Estimated study time: about 38 hours
- Credential price: $149
- Exam: 75 questions · 105 minutes · pass mark 75%
About the LLM 추론 & 대규모 배포 certification
학습된 모델을 실제 트래픽 환경에서 빠르고, 경제적이며, 안정적인 프로덕션 서비스로 전환합니다. 이 전문가 자격증은 추론이 학습과 근본적으로 다른 이유, 자기회귀 디코딩 루프, 그리고 비용을 지배하는 두 단계: 컴퓨팅 병목인 프리필과 메모리 병목인 디코드를 다룹니다. KV-캐시 — 그것이 존재하는 이유, GPU 메모리에서 소모하는 비용, 그리고 가중치가 아닌 KV-캐시가 종종 처리량을 제한하는 이유 — 와 그 비용을 분산하는 배칭 전략: 정적, 동적, 연속(인-플라이트) 배칭을 마스터합니다. 핵심 서빙 도구 모음이 이어집니다: 메모리 효율적인 KV 관리를 위한 PagedAttention 및 vLLM, IO 인식 어텐션을 위한 FlashAttention, 양자화(int8/int4, GPTQ, AWQ, GGUF, 가중치 전용 대 가중치+활성화)와 그 정확도 트레이드오프, 레이턴시를 위한 투기적/보조 디코딩, 그리고 GPU 한 개에 담기지 않는 모델을 위한 텐서 병렬 처리. GPU 메모리 계산(파라미터, KV-캐시, 활성화)을 수행하고, 중요한 레이턴시 지표 — TTFT, TPOT/ITL, 엔드-투-엔드 — 를 분석하며, 처리량-레이턴시 트레이드오프를 탐색합니다. 마지막으로 서비스를 운영합니다: 자동 확장 및 로드 밸런싱, 서빙 스택 선택(vLLM / TGI / TensorRT-LLM), 프롬프트 및 프리픽스 캐싱, 비용 최적화, 모니터링 및 관찰 가능성, 서빙 시점 가드레일. 수료 후에는 실제 LLM 추론 배포를 사이징하고, 배포하고, 튜닝하고, 논리적으로 방어할 수 있게 됩니다.
What you will learn
The official LLM 추론 & 대규모 배포 study course covers:
- 학습에서 추론으로 — 서빙이 다른 문제인 이유: 순방향 전용 디코딩 루프, prefill/decode 분할, LLM 추론을 정의하는 KV-캐시.
- KV-캐시 및 GPU 메모리 계산 — KV-캐시가 존재하는 이유, 비용, 실제 배포를 위한 가중치 + KV + 활성화 메모리 크기 산정.
- 배칭 및 어텐션 커널 — 정적, 동적, 연속 배칭; PagedAttention의 페이징 KV; FlashAttention의 IO 인지 정확 어텐션.
- 양자화 및 더 빠른 디코딩 — Int8/int4 가중치 및 활성화 양자화(GPTQ, AWQ, GGUF), 정확도 트레이드오프, 추측 디코딩.
- 대규모 서빙 — 지연 시간 지표, 처리량/지연 시간 트레이드오프, 텐서 병렬 처리, 서빙 스택, 캐싱, 자동 확장, 비용, 관찰 가능성 및 가드레일.
- 실습 랩 — LLM 추론 서빙 및 최적화 — Google Colab에서 진행하는 배포 캡스톤: prefill 대 decode 지연 시간을 측정하고, KV-캐시 속도 향상을 입증하며, GPU 메모리 예산을 추정하고, 모델을 양자화하여 축소한 다음, 최소한의 요청/응답 서버로 감쌉니다. 무료로 실행할 수 있습니다.
Prerequisites
Frequently asked questions
- Is the LLM 추론 & 대규모 배포 certificate verifiable?
- Yes. Every issued Hootix Academy certificate carries a unique credential code that anyone can verify online.
- How is the LLM 추론 & 대규모 배포 exam structured?
- It is a 105-minute proctored multiple-choice exam of 75 questions; you need 75% to pass.
- Do I need to buy the course to take the exam?
- You can purchase the certification exam on its own, or bundle it with the full study course at a reduced price.
- How long does the LLM 추론 & 대규모 배포 course take?
- About 38 hours of self-paced study.