1장. 왜 로컬 AI인가?

이 장의 목표 로컬 AI가 정확히 뭔지, 왜 굳이 내 컴퓨터에서 AI를 돌리는 사람들이 있는지, 그리고 나에게 맞는 길인지 판단할 수 있게 됩니다.

1.1 일단 “로컬 AI“가 뭔가요?

지금 우리가 흔히 쓰는 AI는 거의 다 클라우드 AI입니다.

• ChatGPT
• Claude
• Gemini
• Copilot

이 친구들은 모두 누군가의 거대한 서버 안에 살고 있습니다.

여러분이 질문을 적으면 그 글자가 인터넷을 타고 OpenAI나 Anthropic, Google의 데이터센터까지 갔다가, 거기서 답을 만들어 다시 여러분 화면으로 돌아옵니다.

로컬 AI는 이걸 내 컴퓨터 안에서 끝내는 것입니다.

[클라우드 AI]
내 컴퓨터 ─→ 인터넷 ─→ 거대한 서버(GPU 수천 장) ─→ 답변 ─→ 내 화면

[로컬 AI]
내 컴퓨터 ──────────────→ 답변 ──────────────→ 내 화면
       (모델이 이 안에 들어 있음)

서버에 보내지 않습니다. 인터넷이 끊겨도 동작합니다. 비용도 따로 안 나갑니다.

대신 내 컴퓨터가 그 일을 직접 해야 합니다.

1.2 왜 사람들이 로컬 AI를 쓰는가

다섯 가지 진짜 이유가 있습니다.

어느 하나라도 마음에 와닿는다면, 여러분도 로컬 AI를 배울 가치가 있습니다.

① 보안 — 내 데이터가 밖으로 안 나간다

회사 코드, 회의록, 고객 정보, 의료 기록, 법무 자료.

이런 걸 ChatGPT 입력창에 붙여 넣기가 꺼림칙한 분이 많습니다. 회사 정책상 금지된 곳도 많고요.

로컬 AI는 그 데이터가 내 컴퓨터 안에서만 처리되고 끝납니다. 외부로 한 글자도 안 나갑니다.

② 비용 — 한 번 받아두면 끝

ChatGPT Plus나 Claude Pro 같은 구독이 매달 20달러쯤 합니다. API로 자동화를 돌리면 토큰 단위로 또 돈이 나갑니다.

로컬 AI는 모델을 한 번 받으면 그 뒤로는 전기료 외에는 돈이 안 듭니다.

하루에 1만 번 질문해도 추가 요금이 0원입니다.

③ 오프라인 — 인터넷이 없어도 동작

비행기 안, 산속, 사내망만 되는 환경, 외국 출장에서 갑자기 끊긴 와이파이.

로컬 AI는 인터넷 없이도 그냥 돌아갑니다.

④ 통제 — 모델을 마음대로 바꿀 수 있다

클라우드 AI는 어느 날 갑자기 답변 스타일이 바뀌거나, 거절이 까다로워지거나, 가격이 오를 수 있습니다.

모델 자체가 “회사 자산“이라 내가 어쩔 수가 없습니다.

로컬 AI는 내가 받은 모델을 그대로 보관할 수 있고, 내 데이터로 추가 학습(파인튜닝)도 시킬 수 있습니다.

시스템 프롬프트도, 안전장치 강도도, 출력 길이도 전부 내가 정합니다.

⑤ 학습 — AI의 작동 원리를 손으로 만져본다

이건 좀 다른 종류의 이유인데, 의외로 큽니다.

클라우드 AI만 쓰면 AI는 그냥 “마법의 검은 상자“입니다.

로컬 AI는 모델 파일을 직접 받고, 메모리에 올려보고, 양자화 버전을 바꿔보면서 AI가 실제로 어떻게 굴러가는지를 손끝으로 익히게 됩니다.

앞으로 어떤 AI 도구를 쓰든 이 감각이 큰 자산이 됩니다.

1.3 그런데 솔직히 단점도 있습니다

이 책이 로컬 AI를 권하는 책이긴 해도, 거짓말은 하지 않겠습니다.

① 최상위 클라우드 모델보다는 보통 살짝 부족합니다

GPT-5, Claude Opus 4, Gemini 2.5 같은 최상위 모델은 수십~수천억 원어치 GPU에서 돌아갑니다.

내 노트북에서 그걸 그대로 따라잡진 못합니다.

다만 2025년 들어 격차가 빠르게 좁혀졌습니다.

32B급 좋은 로컬 모델은 1~2년 전 GPT-4 수준 정도까지는 이미 따라왔습니다.

“일상 업무에 충분한가“라는 기준이라면, 답은 점점 “예“가 되고 있습니다.

② 속도가 클라우드만큼 빠르진 않습니다

ChatGPT는 답변이 폭포처럼 쏟아집니다.

로컬 AI는 모델 크기에 따라 한 줄씩 천천히 흐르는 느낌이 더 강합니다.

작은 모델은 빠르고, 큰 모델은 느립니다.

③ 처음 셋업이 클릭 한 번이 아닙니다

ChatGPT는 가입하고 끝입니다.

로컬 AI는 “어떤 모델을 받지?”, “어떤 형식으로?”, “메모리는 충분한가?” 같은 결정을 내가 해야 합니다.

이 책의 절반은 그 결정을 자신 있게 내릴 수 있게 해주는 게 목적입니다.

④ 컴퓨터가 좀 필요합니다

낡은 노트북이나 메모리 8GB짜리에서는 솔직히 쾌적하지 않습니다.

그래도 의외로 진입선은 낮습니다 — 다음 절에서 확인합니다.

1.4 그래서, 누가 쓰면 좋은가

다음 중 하나라도 해당하면 이 책이 도움이 됩니다.

• 개발자 회사 코드를 외부 AI에 넣기 곤란한 사람
• 연구자·기획자·작가 민감한 초안이나 자료를 매일 AI에 던지고 싶은 사람
• 사내 도구 만드는 사람 회사 안에서만 도는 챗봇/요약기를 구축해야 하는 사람
• AI를 진지하게 배우려는 사람 “어떻게 작동하는지” 손으로 만져보고 싶은 사람
• 비용이 부담되는 사람 자동화를 많이 돌리는데 API 비용이 부담스러운 사람
• 오프라인 환경이 잦은 사람 폐쇄망, 보안 환경, 출장이 많은 사람

반대로 “월 20달러는 쓸 수 있고, 회사 데이터를 외부에 보내도 문제없고, 최고 품질이면 충분하다“라면,

솔직히 클라우드 AI만 써도 됩니다. 그건 그것대로 좋은 선택입니다.

이 책은 “두 가지를 같이 쓰면 된다” 는 입장입니다.

• 클라우드 AI는 최고 품질이 필요할 때
• 로컬 AI는 보안·비용·통제가 중요할 때

1.5 내 맥에서 가능한가? (대충 감)

이 책은 맥(Apple Silicon) 기준으로 진행합니다.

M1·M2·M3·M4·M5 시리즈 어디든 괜찮습니다.

맥의 큰 장점이 하나 있는데, 통합 메모리(Unified Memory) 구조 덕분에 같은 GB 메모리여도 일반 PC보다 큰 모델을 올리기 쉽습니다.

자세한 메모리 계산은 4장과 5장에서 합니다.

여기서는 “내 맥에서 시작은 할 수 있는가” 만 봅니다.

참고 위 숫자에 나오는 “7B”, “14B” 같은 표기는 3장에서 자세히 풉니다. 지금은 “숫자가 클수록 똑똑하지만 무겁다” 정도만 기억하면 됩니다.

통합 메모리 16GB 이상이면 이 책의 대부분을 즐겁게 따라올 수 있습니다.

1.6 클라우드 AI와 로컬 AI, 한 표로

둘은 경쟁자가 아닙니다. 같이 쓰는 도구입니다.

이 장에서 기억할 한 가지

로컬 AI는 “내 컴퓨터 안에서 끝나는 AI“입니다.

클라우드 AI보다 좋아서 쓰는 게 아니라, 클라우드 AI가 못 채워주는 것 (보안·비용·통제·오프라인·학습) 을 채우려고 씁니다.

손으로 해볼 것

이 장은 개념이 메인이라 무거운 실습은 없습니다.

대신 다음 두 가지만 해두면 다음 장이 훨씬 매끄러워집니다.

1. 내 맥 사양 확인

좌상단 사과 메뉴 → 이 Mac에 관하여 를 눌러보세요.

• 칩 (예: Apple M5 Pro)
• 메모리 (예: 64GB)

이 두 가지를 메모해두세요. 5장에서 다시 씁니다.

2. 클라우드 AI에 다음 질문을 던져 보세요 (아무 모델이나 좋습니다)

“내가 ChatGPT에 절대 붙여넣고 싶지 않은 우리 회사·내 개인 자료가 뭐가 있을까?”

머릿속에 답이 나오면, 그게 여러분이 로컬 AI를 쓸 첫 번째 이유입니다.

다음 장에서는 AI(LLM)가 도대체 어떻게 글자를 만들어내는지 30분 정도로 훑어봅니다.

토큰·파라미터 같은 단어가 본격적으로 나오기 시작합니다.