맥에서 시작하는 로컬 AI
클라우드 AI는 써봤지만, 내 맥에서 직접 모델을 돌리는 건 처음인 사람을 위한 입문서.
한 장씩 따라오면 끝에 가서는 모델을 받고, 돌리고, 업무에 붙이는 일이 자연스러워집니다.
이 책은 무엇인가
ChatGPT나 Claude 같은 클라우드 AI 대신 내 맥북 안에서 도는 AI 를 다루는 법을 처음부터 끝까지 안내합니다.
토큰·파라미터 같은 기본 단어부터, 모델을 받는 곳, 돌리는 도구, 프롬프트 작성, 사내 챗봇·코딩 어시스턴트·회의록 자동화까지 한 권으로 모두 다룹니다.
수학과 논문은 거의 없습니다. 대신 결정 트리·체크리스트·실습 이 매 장 끝에 있습니다.
누구를 위한 책인가
- 회사 코드·문서를 외부 AI에 보내기 곤란한 개발자
- 민감한 자료를 매일 AI에 던지고 싶은 기획자·작가·연구자
- 사내 챗봇·요약기를 만들어야 하는 사내 도구 담당자
- AI를 진지하게 배우려는 학습자
- API 비용을 줄이고 싶은 자동화 운영자
반대로 “월 구독비는 부담 없고, 데이터를 외부에 보내도 무방하다“면 이 책을 굳이 읽지 않아도 됩니다.
다 끝내면 가능한 것
- ✅ Hugging Face의 모델 페이지 30초 만에 해독
- ✅ 내 맥 메모리에 맞는 모델·양자화 선택
- ✅ Ollama·LM Studio·MLX 자유롭게 사용
- ✅ OpenAI 호환 API로 외부 도구를 로컬 모델에 연결
- ✅ 임베딩·RAG·Function Calling·MCP 구축
- ✅ VS Code 코딩 어시스턴트 셋업
- ✅ 사내 RAG 챗봇 구축
- ✅ 회의록 자동화 파이프라인 운영
- ✅ 자기만의 모델 평가 셋 유지
전제 환경
| 항목 | 내용 |
|---|---|
| OS | macOS / Apple Silicon (M1 ~ M5 시리즈) |
| 셸 | zsh |
| 권장 메모리 | 16GB 이상 (32B 모델까지는 64GB 권장) |
| 권장 디스크 | 200GB 이상 여유 |
Windows·Linux는 다루지 않습니다. 가격·모델 이름·정책은 2026년 시점 기준입니다.
책의 구조
각 장은 같은 틀로 구성됩니다.
- 이 장의 목표 — 무엇을 알게 되는가
- 본문 — 개념과 예시
- 이 장에서 기억할 한 가지 — 핵심 한 문장
- 손으로 해볼 것 — 5~15분짜리 미니 실습
- 다음 장 예고
처음 보는 분은 순서대로 읽으세요. 앞 장에 나온 용어를 뒷 장이 전제합니다.
학습 경로 가이드
| 목적 | 추천 진도 |
|---|---|
| 로컬 AI가 뭔지 감만 잡고 싶다 | 1~3부 (1~20장) |
| 업무에 본격 도입하고 싶다 | 1~5부 (1~31장) |
| 사내 RAG·Agent까지 만들고 싶다 | 1~5부 + 7부 |
| AI 엔지니어로 자랄 거다 | 1~8부 전부 |
📚 목차
1부 · 로컬 AI 시작 전 알아야 할 개념
이 부를 마치면 모델 페이지의 숫자가 모두 읽힙니다.
- 1장 · 왜 로컬 AI인가
- 2장 · AI는 어떻게 글자를 만들어내는가
- 3장 · 토큰과 파라미터, 모델의 단위
- 4장 · 모델 크기와 메모리
- 5장 · 양자화, 모델 다이어트의 마법
- 6장 · 컨텍스트와 KV Cache
- 7장 · 토큰 속도와 메모리 대역폭
2부 · 모델 고르고 받기
이 부를 마치면 Hugging Face에서 길을 잃지 않습니다.
- 8장 · Hugging Face 완전 정복
- 9장 · 모델 종류
- 10장 · 파일 포맷 (Safetensors / GGUF / MLX)
- 11장 · 모델 이름 해독법
- 12장 · 라이선스, 회사에서 써도 되는 모델
- 13장 · 벤치마크 읽는 법
- 14장 · Dense와 MoE
3부 · 도구 익히기
이 부를 마치면 내 맥에서 모델이 실제로 돕니다.
- 15장 · 터미널 최소한
- 16장 · LM Studio로 시작하기
- 17장 · Ollama로 터미널과 API 다루기
- 18장 · llama cpp 깊이 가기
- 19장 · MLX와 Apple Silicon 가속
- 20장 · 백엔드 비교와 선택 가이드
4부 · 활용 기본기
이 부를 마치면 같은 모델에서 더 좋은 답을 뽑습니다.
- 21장 · 프롬프트 엔지니어링 기초
- 22장 · 시스템 프롬프트와 Chat Template
- 23장 · Temperature와 샘플링 파라미터
- 24장 · Stop, Max tokens, Streaming
5부 · 실무에 붙이기
이 부를 마치면 내 업무 도구가 로컬 AI와 대화합니다.
- 25장 · OpenAI 호환 API로 외부 도구 연결
- 26장 · 임베딩과 RAG
- 27장 · 벡터 DB 입문
- 28장 · Function Calling과 Tool Use
- 29장 · Agent의 구조와 위험
- 30장 · MCP (Model Context Protocol)
- 31장 · 멀티모달, 비전과 음성 모델
6부 · 심화
이 부는 선택입니다. 더 깊이 가고 싶을 때 봅니다.
7부 · 실전 시나리오
이 부를 마치면 실제 업무 도구 3개를 손에 쥐게 됩니다.
- 36장 · Mac 메모리 관리 실전
- 37장 · 실전 ① VS Code 코딩 어시스턴트
- 38장 · 실전 ② 사내 RAG 챗봇
- 39장 · 실전 ③ 회의록 요약 파이프라인
- 40장 · 모델 테스트 루틴 만들기
- 41장 · 트러블슈팅 25선
8부 · 마무리
일러두기
- 모든 도구·CLI·단축키 예시는 macOS / zsh 기준입니다.
- 모델 메모리 표기는 맥 통합 메모리 기준입니다.
- 가격·정책·모델 이름은 2026년 시점입니다. 최신 정보는 각 제공자의 공식 문서를 함께 확인하세요.
- 코드 블록 안의
$는 zsh 프롬프트 를 뜻하니, 실제로 입력할 때는 빼고 치세요. - 본문에서 자주 등장하는 표준 환경 은 M5 Pro 64GB 통합 메모리 입니다. 다른 환경이면 메모리·속도 표를 본인 사양에 맞춰 환산하세요.
시작하기
처음 보는 분이라면
1장 · 왜 로컬 AI인가 부터 순서대로.
도구부터 빨리 만져보고 싶다면
16장 · LM Studio로 시작하기 → 17장 · Ollama
먼저 손에 익힌 뒤 1~7장으로 돌아와 개념 채우기.
회사에 도입하려는 분이라면
12장 · 라이선스 와 35장 · 안전성 평가 를 먼저.
실전 도구만 빨리 만들고 싶다면
7부의 셋 중 하나만 골라 시작 후 필요한 앞 장으로 점프하세요.
한 줄 요약
로컬 AI는 도구가 아니라 인프라가 됩니다.
클라우드 AI는 빨라서 좋고, 로컬 AI는 내 것이라서 좋습니다. 둘을 같이 쓰면서 회사 데이터·시간·결정을 내 손에 다시 가져오는 여정 — 이 책은 그 시작 지점입니다.
준비됐다면 1장 · 왜 로컬 AI인가 으로.