Ollama는 설치 파일을 깔고 모델을 한 번 내려받으면, 인터넷·구독 없이 내 컴퓨터에서 AI와 대화하게 해주는 무료 도구입니다.
Ollama가 뭔가요
ChatGPT 같은 AI를, 인터넷 없이 내 컴퓨터 안에서 돌리는 프로그램입니다.
- LLM대규모 언어 모델
- ChatGPT처럼 글을 읽고 답을 만들어내는 AI의 '두뇌'에 해당하는 파일입니다. Ollama로 이 파일을 내 컴퓨터에 받아 돌립니다.
- Local로컬(내 컴퓨터 안)
- 인터넷 서버가 아니라 내 컴퓨터 안에서 직접 돌린다는 뜻. 입력한 내용이 밖으로 나가지 않습니다.
- Model모델
- Gemma, Qwen, Llama처럼 종류별로 있는 AI 두뇌. 크기가 클수록 똑똑하지만 메모리를 더 많이 씁니다.
비개발자에게 왜 좋은가
구독 없이, 내 자료가 밖으로 새지 않게, 인터넷 없이도 AI를 쓸 수 있습니다.
Ollama의 매력은 'AI를 내 것으로 가져온다'는 점에 있습니다.
- 구독료가 없습니다 — 프로그램과 모델 모두 무료(오픈소스, MIT 라이선스)입니다. 월 결제 없이 쓸 수 있습니다.
- 내 자료가 밖으로 안 나갑니다 — 입력한 글이 내 컴퓨터 안에서만 처리됩니다. 사내 문서·개인 메모처럼 외부에 올리기 꺼려지는 내용을 다룰 때 안심됩니다.
- 인터넷이 없어도 됩니다 — 모델을 한 번 받아 두면 비행기 안, 인터넷이 끊긴 곳에서도 대화할 수 있습니다.
AI를 내 컴퓨터에서 돌린다니, 개발자만 할 수 있는 어려운 일 아닌가요?
Ollama는 macOS·Windows·Linux용 설치 프로그램이 있어 클릭 몇 번으로 깔립니다. 모델을 받고 대화하는 것도 명령어 한 줄이면 됩니다. 다만 ChatGPT처럼 완전한 클릭형 화면은 아니라, 입력창에 짧은 명령어를 타이핑하는 단계가 있습니다 — 이 매뉴얼이 그 한 줄까지 안내합니다.
시작 전에 — 내 컴퓨터가 감당될까
AI 모델은 메모리를 많이 씁니다. 작은 모델부터 시작하면 부담이 적습니다.
| 이런 분께 | 이렇게 시작하길 권합니다 |
|---|---|
| 메모리 8GB 안팎의 보통 노트북 | 가장 작은 모델 하나만 받아 가볍게 체험하기 |
| 메모리 16GB 이상 | 조금 더 큰 모델까지 시도해 답 품질 비교해 보기 |
| 내 사양을 잘 모르겠다 | 일단 작은 모델로 한 번 돌려보고, 느리면 더 작은 걸로 바꾸기 |
시작 전 체크 (3가지)
- 내 컴퓨터 운영체제 확인 — macOS / Windows / Linux 중 무엇인지
- 저장 공간 여유 확인 — 모델 하나가 수 기가바이트(GB)를 차지할 수 있음
- 처음엔 '작은 모델 하나'만 받겠다고 마음먹기 — 욕심내지 않기
설치 → 모델 받기 → 대화 (한 번에)
프로그램을 깔고, 명령어 한 줄로 모델을 받아 바로 대화를 시작합니다.
1단계 — 설치 프로그램 받기
공식 사이트 ollama.com에 들어가 'Download'를 누르고, 내 운영체제(macOS·Windows·Linux)에 맞는 설치 파일을 받습니다.
2단계 — 평소처럼 설치하기
받은 파일을 실행해 다른 프로그램 깔듯 'Install'을 누릅니다. 설치가 끝나면 Ollama가 컴퓨터 안에서 조용히 준비됩니다.
3단계 — 명령창 열기
Windows는 'PowerShell' 또는 '명령 프롬프트', Mac은 '터미널'을 엽니다. 검은 입력창이 뜨면 여기에 짧은 명령어를 타이핑할 준비가 된 것입니다.
4단계 — 모델 받아 대화 시작
입력창에 ollama run gemma3 처럼 치고 Enter를 누릅니다. 처음 한 번은 모델을 자동으로 내려받느라 시간이 걸리고, 끝나면 바로 질문을 입력할 수 있습니다.
5단계 — 그냥 말 걸기
한국어로 '오늘 회의록을 세 줄로 요약해줘'처럼 평소 말하듯 입력하면 됩니다. 대화를 끝낼 때는 보통 /bye 라고 치고 Enter를 누르면 되는데, 버전에 따라 안내가 다를 수 있으니 화면에 나오는 종료 안내를 함께 보세요.
- ollama run받아서 바로 실행
- 모델이 없으면 자동으로 내려받은 뒤 곧장 대화를 시작하는 명령어입니다. 처음 쓰는 모델이면 다운로드부터 됩니다.
- ollama pull받아만 두기
- 대화는 나중에 하고 모델 파일만 미리 내려받아 둘 때 쓰는 명령어입니다.
- ollama ls받아둔 목록 보기
- 지금까지 내 컴퓨터에 받아 둔 모델이 무엇무엇인지 확인하는 명령어입니다.
사무직은 이렇게 씁니다
외부에 올리기 꺼려지는 글을, 내 컴퓨터 안에서만 다듬을 때 좋습니다.
사내 문서 요약·초안
외부 서비스에 올리기 부담스러운 회의록·내부 안내문을 Ollama에게 요약·정리시키면, 내용이 내 컴퓨터 밖으로 나가지 않습니다.
간단한 번역·문장 다듬기
짧은 메일이나 메모를 매끄럽게 고치거나 다른 언어로 바꿔 달라고 할 수 있습니다. 인터넷이 없는 환경에서도 됩니다.
AI 감 잡기 연습
구독 결제 없이 AI에게 이것저것 시켜보며 '프롬프트 감'을 키우기에 좋습니다. 실수해도 비용 부담이 없습니다.
외부 유출이 걱정될 때
고객 정보·미공개 자료처럼 외부 AI에 넣기 곤란한 내용을 다룰 때, 로컬에서 처리해 마음의 부담을 덜 수 있습니다.
오늘 해볼 것 — 첫 모델 한 번 돌려보기
작은 모델 하나만 받아, AI와 첫 대화까지 끝내 보세요.
1단계 — 설치 파일 받기
ollama.com에서 내 운영체제에 맞는 설치 파일을 받아 평소처럼 설치합니다.
2단계 — 명령창 열기
Mac은 '터미널', Windows는 'PowerShell'을 엽니다. 검은 입력창이 나오면 준비 완료입니다.
3단계 — 모델 받아 실행
ollama run gemma3 를 입력하고 Enter. 처음엔 자동 다운로드가 끝나길 기다립니다.
4단계 — 한국어로 말 걸기
'간단한 점심 메뉴 5개만 추천해줘'처럼 편하게 한 줄 입력해 답을 받아 봅니다.
5단계 — 대화 마치기
대화를 끝낼 때는 보통 /bye 를 입력하면 됩니다(버전에 따라 안내가 다를 수 있어요). 다음엔 같은 명령어로 곧바로 다시 시작할 수 있습니다.
- 답이 느리거나 버겁게 느껴지면 더 작은 모델로 바꿔 다시 시도하기
- 받아둔 모델은 ollama ls 로 확인하고, 안 쓰는 건 나중에 정리하기
- 마음에 든 사용법은 메모해 두고 다음 업무에 또 써먹기
| 이걸 했으면 첫걸음 끝 | 확인 |
|---|---|
| ollama.com에서 설치 파일을 받아 설치했다 | ☐ |
| 명령창에 ollama run 으로 모델을 한 번 받아 실행했다 | ☐ |
| 한국어로 질문을 입력해 답을 받아 봤다 | ☐ |
| 대화를 끝내 봤다(보통 /bye) | ☐ |
| 받은 답을 그대로 믿지 않고 한 번 확인했다 | ☐ |
자주 묻는 질문
Ollama는 무료인가요?
네. Ollama 프로그램과 받을 수 있는 모델 모두 무료이며, 오픈소스(MIT 라이선스)입니다. 월 구독료가 없습니다. 다만 모델을 돌리려면 어느 정도 컴퓨터 사양(특히 메모리)이 필요합니다.
개발자가 아니어도 쓸 수 있나요?
쓸 수 있습니다. macOS·Windows·Linux용 설치 프로그램이 있어 깔기는 쉽습니다. 다만 ChatGPT처럼 완전한 클릭형 화면은 아니라, 명령창에 'ollama run 모델이름' 같은 짧은 한 줄을 타이핑하는 단계가 있습니다. 이 매뉴얼의 순서대로 따라 하면 됩니다.
어떤 컴퓨터 사양이 필요한가요?
모델 크기에 따라 다릅니다. 경험칙으로 가장 작은 축의 모델은 메모리 8GB 안팎, 한 단계 큰 모델은 16GB 이상이 있으면 비교적 편하다고들 합니다. 이는 공식 고정 기준이 아니라 모델마다 다르고 바뀔 수 있으니, 처음엔 작은 모델부터 가볍게 시작해 내 컴퓨터에서 괜찮은지 직접 확인하세요.
인터넷 없이도 되나요?
모델을 한 번 내려받은 뒤에는 인터넷 없이도 대화할 수 있습니다. 다만 모델을 처음 받을 때와 새 모델을 추가할 때는 인터넷이 필요합니다.
내가 입력한 내용이 밖으로 새나가지 않나요?
Ollama는 모델을 내 컴퓨터 안에서 돌리는 도구라, 입력 내용이 기본적으로 외부 서버로 전송되지 않습니다. 그래서 외부에 올리기 꺼려지는 자료를 다룰 때 상대적으로 안심됩니다. 단, 회사 보안 규정이 있다면 함께 따르세요.
답이 ChatGPT만큼 똑똑한가요?
꼭 그렇진 않습니다. 내 컴퓨터에서 돌리는 작은 모델은 대형 서비스보다 답이 단순하거나 사실을 틀릴 수 있습니다. 받은 답은 그대로 믿기보다 한 번 확인하고, 더 큰 모델로 바꿔 비교해 보는 것을 권합니다.
출처와 확인 경계
기능·설치 방식·라이선스(MIT, 오픈소스·무료)는 Ollama 공식 저장소(GitHub)와 공식 사이트를 기준으로 정리했습니다(2026-06-07 기준). 화면·버튼·명령어 이름, 받을 수 있는 모델 목록, 권장 사양은 업데이트로 바뀔 수 있으니 아래 단계는 큰 흐름으로 참고하세요. 모델이 내놓는 답은 항상 맞는 게 아니라 상황에 따라 달라지고 변동될 수 있으니, 받은 답은 그대로 믿기보다 한 번 확인하는 게 좋습니다.