RAG는 AI가 답하기 전에, 미리 지정해 둔 자료(예: 사내 문서)에서 관련 부분을 먼저 찾아 그 근거로 답하게 하는 방식입니다.
0. 먼저 다섯 단어만 — 영어 약어가 무섭지 않게
본문에 계속 나오는 말들을 쉬운 한국어로 한 번 풀어두면, 나머지가 술술 읽힙니다.
- RAG검색 증강 생성
- Retrieval-Augmented Generation의 약자. AI가 답하기 전에 미리 지정해 둔 자료를 먼저 '검색'해 와서, 그 내용을 근거로 답을 '생성'하는 방식입니다.
- LLM거대 언어 모델
- ChatGPT·Claude처럼 사람 말을 이해하고 글로 답하는 AI. 만들 때 한 번 학습해 둔 내용으로 답합니다.
- Hallucination환각(없는 사실 지어내기)
- AI가 답을 모를 때 그럴듯하지만 사실이 아닌 내용을 만들어 말하는 현상입니다.
- Retrieval검색·가져오기
- 질문과 관련된 문서·정보를 자료 더미에서 찾아오는 단계입니다. RAG의 첫 글자가 바로 이것입니다.
- Grounding근거에 기반함(그라운딩)
- 답을 머릿속 기억이 아니라, 찾아온 실제 자료에 '딛고' 만든다는 뜻입니다. 본문에서 한 번 더 만나게 됩니다.
1. 한 줄로 먼저 — RAG가 뭔가요
어려운 기술 같지만, 핵심은 '오픈북 시험'이라는 한마디로 정리됩니다.
RAG는 영어 Retrieval-Augmented Generation의 약자로, 우리말로는 검색 증강 생성이라고 옮깁니다. 이름을 한 글자씩 풀어보면 뜻이 그대로 보입니다 — '검색(Retrieval)으로 자료를 가져와, 그걸로 답을 보강(Augmented)해, 생성(Generation)한다'는 것이죠.
보통 LLM은 미리 학습해 둔 내용만으로 답합니다. 그래서 학습 이후에 생긴 일이나, 우리 회사 안에만 있는 비공개 문서는 알기 어렵습니다. 모르는 걸 그럴듯하게 지어내는 환각도 여기서 자주 생깁니다. 여기서 말하는 '학습'은 모델을 만들 때 한 번 해 두는 것이고, RAG는 이렇게 학습된 모델을 다시 가르치지 않는다는 점을 미리 기억해 두면, 뒤 내용이 한결 쉽게 읽힙니다.
RAG는 이 한계를 다른 방식으로 풉니다. 모델을 다시 가르치는 대신, 답할 때 옆에 참고 자료를 펼쳐 두고 그 자료에서 관련 부분을 찾아 근거로 삼게 합니다. 위키백과는 RAG가 LLM으로 하여금 학습 데이터에 없는 특정 분야·최신 정보를 쓰게 하고, 사내 데이터나 권위 있는 출처에 기반해 답하게 한다고 설명합니다. 이 용어는 2020년 Patrick Lewis 외의 논문에서 처음 제안됐습니다.
2. 작동 원리 — 검색 → 근거 → 생성, 3단계
복잡해 보여도 흐름은 늘 같은 세 걸음입니다.
1단계 — 검색(Retrieve)
사용자 질문이 들어오면, 미리 정해 둔 권위 있는 자료(사내 위키·매뉴얼·문서 등)에서 질문과 가장 관련 있는 부분을 먼저 찾아옵니다. 위키백과는 관련 문서를 먼저 골라 질문을 보강한다고 설명합니다.
2단계 — 근거로 묶기(Augment)
찾아온 자료를 질문과 함께 모델에 건넵니다. 모델은 머릿속 기억이 아니라 이 실제 자료를 근거로 삼아(그라운딩) 답할 준비를 합니다. 원논문은 이를 모델 안에 학습된 기억과 바깥에서 가져온 자료를 결합한 구조라고 설명하는데, 쉽게 말하면 학생이 외워 둔 지식에 책상 위 참고 자료를 더한 셈입니다.
3단계 — 생성(Generate)
모델이 그 근거에 기반해 답을 만듭니다. 답에는 근거가 된 출처를 함께 보여줄 수 있어, 사용자가 직접 원문을 확인할 수도 있습니다(AWS도 답에 출처 인용을 포함할 수 있다고 설명합니다).
3. 흔한 오해 ↔ 실제로는
RAG를 처음 들으면 흔히 빠지는 오해 세 가지를 짝지어 풀어봅니다.
RAG를 쓰면 AI가 내 문서로 '학습'해서 더 똑똑해지는 거죠?
아니요. RAG는 보통 모델을 다시 학습시키지 않습니다. 질문할 때마다 관련 부분을 찾아 잠깐 참고할 뿐이에요. '학습'이 아니라 '검색해서 참고'한다고 생각하면 정확합니다. 그래서 자료만 바꾸면 곧바로 새 내용으로 답합니다.
RAG를 붙이면 환각(없는 사실 지어내기)이 완전히 사라지나요?
줄어드는 데 도움이 되지만, 완전히 사라지진 않습니다. AWS도 RAG가 문제의 '일부'를 다룬다고만 말합니다. 검색이 엉뚱한 자료를 가져오거나 원본 자료가 오래됐으면, 그럴듯하지만 틀린 답이 나올 수 있어요.
출처가 같이 보이면 그 답은 맞다는 보증이죠?
출처 표시는 '확인할 거리'를 주는 것이지 정답 보증서는 아닙니다. 인용된 출처가 실제로 그 답을 뒷받침하는지 사람이 한 번 들여다보면 마음이 편합니다(AWS도 사용자가 직접 출처 문서를 확인할 수 있다고 안내합니다).
4. 그냥 LLM에 묻기 vs RAG로 묻기
같은 질문도 '책 없이'와 '책 펴고'는 결과가 다릅니다. 표로 한눈에 비교해 보세요.
| 항목 | 그냥 LLM에 묻기 | RAG로 묻기 |
|---|---|---|
| 답의 근거 | 학습해 둔 머릿속 기억 | 질문할 때 찾아온 실제 자료 |
| 최신·사내 정보 | 학습 시점 이후 내용은 알기 어려움 | 자료만 넣어 두면 재학습 없이 반영 |
| 새 정보 반영 방법 | 모델을 다시 학습시켜야 함(비용 큼) | 참고 자료 더미만 갱신 |
| 출처 표시 | 보통 없음 | 근거 출처를 함께 보여줄 수 있음 |
| 환각 위험 | 상대적으로 높음 | 줄지만 완전히 사라지진 않음 |
여기서 한 가지 오해를 미리 풀어두면 좋습니다. RAG가 '검색을 쓰니까 정보가 항상 최신이고 정확하다'는 인상은 사실과 다릅니다. RAG의 정확도는 두 가지에 함께 달려 있습니다 — 첫째, 검색이 질문에 딱 맞는 부분을 가져왔는지. 둘째, 그 원본 자료 자체가 최신이고 옳은지. 둘 중 하나라도 어긋나면 그럴듯하지만 틀린 답이 나옵니다.
그래서 RAG를 운영할 때는 참고 자료를 계속 갱신해 최신으로 유지하는 일이 중요합니다. AWS도 외부 자료가 오래되면 서비스를 멈추지 않고 뒤에서 따로 틈틈이 문서를 새것으로 갱신하면 된다고 안내합니다. 즉 RAG는 한 번 만들어 두면 끝나는 게 아니라, 책상 위 참고 자료를 꾸준히 관리해 주어야 제값을 합니다. '재학습보다 싸다'는 것도 비용·시간이 상대적으로 적다는 뜻이지, 공짜라는 뜻은 아닙니다.
5. 사실, 당신은 이미 RAG의 원리를 쓰고 있습니다
거창한 시스템이 아니라, 사무직이 일상에서 하는 이 장면들이 바로 RAG의 대표적 활용 사례입니다.
휴가 규정 PDF를 올려 질문
사내 휴가 규정 PDF를 ChatGPT나 Claude에 올리고 '경조사 휴가 며칠?'이라 물으면, 도구가 올린 문서에서 관련 부분을 찾아 근거로 답합니다. 지정해 둔 자료를 찾아와 답에 쓴다는 점에서 RAG와 같은 원리입니다.
NotebookLM에 자료 모아 묻기
Google NotebookLM은 내가 올린 소스에 근거해 답하고, 대체로 그 내용이 소스 어디서 나왔는지 출처를 함께 보여줍니다(짧은 소스에서는 개별 인용 없이 문서 전체를 참조하기도 합니다). 소스에 없는 내용은 답하지 않도록 설계돼 있죠. '소스에 근거해 답한다'는 RAG의 대표적 활용 사례입니다.
사내 문서 챗봇 · 고객지원 봇
사내 위키·매뉴얼·FAQ 같은 정해진 문서 집합에서 질문과 관련된 부분을 찾아 그 근거로 답하게 만드는 것 — 이것이 RAG의 전형적인 기업 활용 예시입니다.
6. 직접 체험해 보기 — 5분 오픈북 실험
개념을 손으로 한 번 만져보면 오래 기억에 남습니다. 가진 도구로 가볍게 한 번 해봐도 좋습니다.
오픈북 실험 (4단계)
- 내 손에 있는 문서 하나 고르기 — 예: 회사 휴가 규정, 제품 매뉴얼, 회의록 PDF
- ChatGPT·Claude·NotebookLM 중 문서 올리기를 지원하는 도구에 그 파일을 올리기
- 문서 안에서만 알 수 있는 구체적 질문 던지기 — 예: '연차 이월은 몇 일까지 되나요?'
- 답에 '문서 몇 쪽/어느 항목 근거인지' 같이 물어, 출처를 직접 펼쳐 맞는지 확인하기
| 이걸 했으면 끝 | 확인 |
|---|---|
| 문서 하나를 도구에 올렸다 | ☐ |
| 문서 안에서만 알 수 있는 질문을 던졌다 | ☐ |
| 답이 어느 근거에서 나왔는지 물어봤다 | ☐ |
| 가리킨 출처를 직접 펼쳐 답과 맞는지 확인했다 | ☐ |
7. 오늘 해볼 것
딱 하나만 골라도 충분합니다. 무리하지 않아도 돼요.
- 지금 손에 있는 문서 한 개를 도구에 올려, 그 안에서만 답할 수 있는 질문 하나 던져보기
- 받은 답에서 '어느 부분이 근거였는지' 물어, 출처를 한 번 펼쳐 확인하기
- 동료에게 'RAG = AI가 책 펴고 보는 오픈북 시험'이라고 한마디로 설명해 보기 (설명하면 더 오래 기억에 남습니다)
자주 묻는 질문
RAG가 한마디로 뭔가요?
AI가 답하기 전에 미리 지정해 둔 자료(예: 사내 문서)에서 질문과 관련된 부분을 먼저 찾아와, 그 근거로 답하게 하는 방식입니다. '책 펴고 보는 오픈북 시험'이라고 생각하면 쉽습니다. 정식 명칭은 Retrieval-Augmented Generation(검색 증강 생성)이고, 2020년 Lewis 외 논문에서 처음 제안됐습니다.
RAG가 모델을 더 똑똑하게 '학습'시키나요?
아니요. RAG는 보통 모델을 다시 학습시키지 않습니다. 모델이 학습으로 익혀 둔 내용은 그대로 두고, 질문할 때마다 관련 자료를 찾아 잠깐 참고할 뿐입니다. 그래서 새 정보가 생기면 재학습 대신 참고 자료만 갱신하면 됩니다.
RAG를 쓰면 환각(없는 사실 지어내기)이 사라지나요?
줄이는 데 도움이 되지만 완전히 사라지진 않습니다. AWS도 RAG가 문제의 '일부'를 다룬다고만 말합니다. 검색이 엉뚱한 자료를 가져오거나 원본 자료가 오래됐으면 여전히 틀린 답이 나올 수 있어, 근거를 한 번 확인하는 습관이 필요합니다.
저도 이미 RAG를 쓰고 있나요?
그럴 가능성이 큽니다. ChatGPT·Claude에 PDF를 올려 질문하거나, NotebookLM에 자료를 모아 묻거나, 사내 문서 챗봇에 물어보는 것 모두 '올린 자료에서 관련 부분을 찾아 근거로 답한다'는 RAG의 원리·대표적 활용 사례입니다.
그냥 ChatGPT에 묻는 것과 뭐가 다른가요?
그냥 묻기는 모델이 머릿속에 학습해 둔 기억으로 답합니다. RAG로 묻기는 답하기 전에 지정된 자료를 먼저 찾아와 그 근거로 답하므로, 재학습 없이 최신·사내 정보를 반영하고 출처를 함께 보여줄 수 있습니다.
출처와 확인 경계
이 글의 정의·원리·활용 예시는 위키백과, 2020년 원논문, AWS 설명, Google NotebookLM 공식 문서에서 확인한 내용입니다. 단, 특정 제품(ChatGPT·Claude·NotebookLM·사내봇)이 내부적으로 정확히 어떤 검색 방식을 쓰는지는 제품마다 다르므로, 본문에서는 '소스에서 관련 부분을 찾아 근거로 답한다'는 관찰 가능한 동작만 '대표적 활용'으로 소개했습니다.
- 위키백과 — Retrieval-augmented generation (정의·원리·재학습 불필요·최신/도메인/사내 정보 반영)
- Lewis 외(2020), 'Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks' — RAG 용어를 처음 제안한 원논문
- AWS — What is Retrieval-Augmented Generation? (권위 출처 검색·인용·환각 완화·재학습 대비 비용)
- Google NotebookLM 공식 지원 FAQ — 업로드한 소스에 근거해 답하고 출처를 표시한다는 동작 설명