44장. 앞으로 공부할 것들
이 장의 목표 이 책을 끝낸 뒤 어디로 더 갈 수 있는지 지도를 그립니다.
이 분야는 매주 새 모델이 나옵니다. 변화에 흔들리지 않는 학습 루틴을 만드세요.
44.1 책 마무리 — 여기까지 한 일
축하합니다. 여기까지 오면 다음이 가능합니다.
- 모델 페이지의 거의 모든 숫자를 읽음
- LM Studio · Ollama · MLX · llama.cpp 자유롭게
- OpenAI 호환 API로 사내 도구 연결
- RAG · Function Calling · MCP 까지
- 사내 코딩 어시스턴트 · 챗봇 · 회의록 자동화 구축
이제 “사용자“에서 한 발 더 나아가 구축자·전파자 가 될 차례입니다.
44.2 다음 단계 1 — 더 깊은 기술
Transformer 내부
이 책은 토큰·파라미터를 다뤘지만 왜 어텐션이 동작하는지 는 다루지 않았습니다.
읽어볼만한 자료:
- 3Blue1Brown 유튜브 LLM 시리즈
- “Attention is All You Need” 원논문
- Karpathy의 nanoGPT 코드 (몇 백 줄로 GPT 구현)
양자화 알고리즘
Q4_K_M 안에 정확히 무슨 일이 벌어지는지.
- imatrix·GPTQ·AWQ·EXL2 비교
- 활성값 양자화 vs 가중치 양자화
추론 엔진 내부
- KV Cache 압축 (FP8, INT8)
- Flash Attention
- Continuous Batching
- Speculative Decoding
학습 알고리즘
- LoRA·QLoRA·DoRA
- DPO·ORPO·KTO
- RLHF·RLAIF
44.3 다음 단계 2 — 더 큰 시스템
분산·서버 추론
- vLLM, TGI, SGLang
- 큰 GPU 서버 운영
- 멀티 GPU 모델 샤딩
멀티 모델 라우팅
- 쉬운 질문 → 작은 모델
- 어려운 질문 → 큰 모델
- 비용·속도 최적화
Agent 프레임워크 깊이
- LangGraph
- AutoGen
- CrewAI
- 자체 Agent 프레임워크 제작
Evaluation 자동화
- DeepEval, RAGAS
- LLM-as-judge 파이프라인
- A/B 테스트
44.4 다음 단계 3 — 도메인 특화
사내 도메인 LM
LoRA로 사내 데이터 학습
- 회사 용어
- 사내 보고서 스타일
- 도메인 지식
의료·법률·금융
각 도메인 특화 모델 (모델 자체 + 안전성 + 컴플라이언스).
멀티모달 응용
- OCR + LLM = 문서 디지털화
- 비디오 + LLM = 미팅 분석
- 음성 + LLM = 콜센터 자동화
이미지·음악·영상 생성
이 책은 LLM 중심이었지만, Stable Diffusion, ComfyUI, Suno, Sora 등 생성 모델 분야도 빠르게 큽니다.
44.5 정보 따라가기
새 모델·도구가 매주 쏟아집니다. 큐레이션이 필수.
주요 채널
- Hugging Face Daily Papers
- lmarena.ai Leaderboard
- localllama Reddit
- Simon Willison’s Weblog
- AnthropicAI 트위터, OpenAI 블로그
- Apple ML Research 블로그 (MLX 업데이트)
Discord·Slack
- LocalLLaMA, Hugging Face, Ollama, LM Studio
- 최신 GGUF·MLX 변환본 소식
한국어 커뮤니티
- Reddit r/LocalLLM 한국 분포 보기
- 한국 AI 페이스북·디스코드 그룹
44.6 매월·매주 루틴 추천
매주 30분
- lmarena.ai 변화 확인
- 새 모델 1개 받아 40장 평가 셋으로 테스트
매월 1시간
- Ollama·LM Studio 업데이트
- 사내 평가 셋 회귀
- 라이브러리 버전 업데이트 (huggingface_hub, mlx-lm)
분기 1번
- 표준 모델 교체 검토
- 비용·속도·품질 종합 재평가
- 사내 도입 정책 업데이트
44.7 자기 위치 알기
기술 변화 속도가 빠른 만큼 본인 위치 파악이 중요.
| 단계 | 상태 |
|---|---|
| 초보 | LM Studio로 모델 받아 채팅 가능 |
| 사용자 | Ollama API로 자기 도구 연결 가능 |
| 활용자 | RAG·Function Calling 구축 가능 |
| 구축자 | 사내 도구 3개 이상 운영 |
| 전파자 | 회사에 도입·교육·평가 셋 유지 |
| 연구자 | 파인튜닝·양자화·아키텍처 직접 |
이 책을 끝낸 시점 = 활용자 ~ 구축자 사이.
다음 6~12개월 안에 구축자 로 가는 게 자연스러운 목표.
44.8 회사 안에서의 다음 행보
1. 사내 위키에 가이드 작성
이 책을 다 읽고 알게 된 것을 회사 맥락에 맞게 한 페이지로.
- 우리 회사 표준 모델
- 받는 법 / 돌리는 법
- 도입 가능 영역 / 안 되는 영역
- 트러블슈팅 핫라인
2. 내부 RAG 챗봇 베타
38장 그대로 5명 시범 → 30명 → 회사 전체.
3. 코딩 어시스턴트 표준화
37장 셋업을 사내 dotfiles로. 신입 입사 즉시 설정 가능.
4. 회의록·이메일 자동화
39장 + 사내 보고 양식. 시간 절감 효과가 가장 큰 영역.
5. 모델 검증·도입 위원회
큰 회사라면 분기별 모델 평가 → 표준 모델 업그레이드 결정.
44.9 윤리·책임 관점
기술이 강력해지는 만큼 책임도 큽니다.
- 개인정보 : 사내 도입 전 검토
- 저작권 : 학습·생성 결과의 권리
- 차별·편향 : 작은 한국어 모델에 자주 잠재
- 자동 결정 : 인간 검토 단계 유지
- 환경 : GPU 발열·전기 사용 (대규모일 때)
기술이 커질수록 “안 한다” 결정도 중요 합니다.
44.10 마지막으로
이 책이 끝났다고 “로컬 AI를 다 안다“는 뜻이 아닙니다.
매주 새 모델이 나오고, 매월 새 도구가 등장합니다.
하지만 이 책에서 만난 개념·구조·결정 트리 는 흔들리지 않습니다.
토큰·파라미터·양자화·컨텍스트·KV
Base/Instruct/Coder/Reasoning/VL/Embedding
Safetensors/GGUF/MLX
LM Studio/Ollama/llama.cpp/MLX
프롬프트·시스템 프롬프트·Chat Template
샘플링·Stop·Streaming
RAG·Function Calling·Agent·MCP
환각·Alignment·거절·HarmBench
파인튜닝·LoRA·QLoRA
이 키워드들은 5년 뒤에도 거의 그대로 유효할 겁니다.
이 책에서 기억할 한 가지
로컬 AI는 도구가 아니라 인프라가 됩니다.
클라우드 AI는 빨라서 좋고, 로컬 AI는 내 것 이라서 좋습니다.
둘을 같이 쓰면서 회사 데이터 · 시간 · 결정을 내 손에 다시 가져오는 여정 — 이 책은 그 시작 지점입니다.
손으로 해볼 것 (마지막)
1. 책 한 줄 회고
이 책을 읽기 전과 후, 가장 크게 바뀐 한 가지는:
___________________________________________
2. 다음 1주일 계획 3가지
1. (예) 37장 코딩 어시스턴트 셋업 완료
2. (예) 40장 평가 셋 30문항 작성
3. (예) 38장 사내 RAG 베타 5명 시범
3. 이 책에서 제일 약한 장 한 개
저자에게 피드백한다면:
"___장이 가장 약했음. ___가 빠짐."
책 끝까지 따라와 주셔서 고맙습니다.
이제 여러분의 맥은 단순한 노트북이 아니라 작은 AI 데이터센터 입니다.
여기서부터의 여행은 여러분 몫입니다. 필요할 때 이 책으로 돌아오세요.
— 끝 —