AI 에이전트의 RAG란? 외부 문서를 찾아 답하는 원리

AI에게 회사 규정을 물었는데 그럴듯한 답만 돌아온다면, 말투보다 먼저 볼 것은 **“이 답을 뒷받침하는 문서가 있는가?”**입니다. 문서에 접근할 수 없다면 회사의 실제 규정을 확인한 답이라고 볼 수 없습니다.

RAG는 답변을 만들기 전에 관련 자료를 찾고, 그 자료를 근거로 답하도록 연결하는 방식입니다. 이 글에서는 벡터 검색의 계산 원리보다 찾은 자료로 어디까지 답할 수 있는지 판단하는 방법을 살펴봅니다.

1. RAG는 AI를 다시 학습시키는 작업과 다릅니다

RAG는 Retrieval-Augmented Generation의 약자로, 보통 ‘검색 증강 생성’이라고 부릅니다. 검색으로 가져온 자료를 답변 생성에 보태는 것입니다.

기본 흐름은 질문 → 허용된 자료 검색 → 관련 구간 전달 → 답변 작성 → 근거 대조입니다. 문서를 찾는 기능과 문장을 만드는 기능을 연결하므로, 일반적인 RAG는 문서를 넣을 때마다 모델 자체를 다시 학습시키는 방식과 다릅니다. Microsoft의 RAG 공식 개요도 자체 콘텐츠를 답변의 근거로 제공하는 구조를 설명합니다.

검색에는 키워드·의미 기반 검색 등을 사용할 수 있습니다. 벡터 DB가 모든 RAG의 필수 부품인 것은 아닙니다. 검색 방식의 차이는 벡터 데이터베이스 글에서 따로 다룹니다.

2. 문서 세 개로 근거를 확인해 봅시다

아래 자료와 최종 답변 메모 3개는 가상 입력을 바탕으로 사람이 작성한 완성 예시입니다. 실제 NextSignal24 운영 규정이나 검색·모델 실행 결과가 아닙니다.

문서 ID	상태	가상 문서 내용
P01	운영자가 현재 적용본으로 확인	공개 전 작성자 외 검토자 1명의 확인을 받아야 한다. 검토 전에는 초안으로 저장한다.
P02	운영자가 폐기본으로 확인	작성자가 확인한 뒤 공개할 수 있다.
P03	현재 적용본	이미지 제출 형식은 PNG 또는 JPG이다.

질문을 “글 초안이 완성되면 바로 공개해도 되나요?”로 정해 보겠습니다.

이때 찾아야 할 근거는 P01의 공개 전 검토 조건입니다. P03이 검색됐다는 사실만으로 공개 가능 여부를 답할 수는 없습니다. 같은 단어가 일부 있다고 해서 질문의 조건을 해결하는 자료는 아니기 때문입니다. P02 역시 검색될 수 있지만 폐기본이라는 상태를 함께 확인해야 합니다.

최종 답변 메모 1. 근거가 있는 질문

질문: “글 초안이 완성되면 바로 공개해도 되나요?”

이 가상 규정에서는 초안 완성만으로 바로 공개할 수 없습니다. 작성자 외 검토자 1명의 확인이 필요하며, 그전에는 초안으로 저장해야 합니다. 근거: P01의 공개 전 검토 조건.

근거 구간: P01의 “공개 전 작성자 외 검토자 1명의 확인” 및 “검토 전에는 초안으로 저장”.
적용 확인: P01은 현재 적용본, P02는 폐기본입니다. P03은 이미지 형식 규정이므로 공개 허용의 근거가 아닙니다.

최종 답변 메모 2. 근거가 없는 질문

질문: “검토가 몇 시간 안에 끝나나요?”

제공된 P01·P02·P03에서는 검토 처리 시간을 확인할 수 없습니다. 몇 시간 안에 끝난다고 안내할 근거가 없으므로 예상 시간을 덧붙이지 않겠습니다. 문서 담당자에게 처리 시간 기준을 확인해 주세요.

확인된 내용: P01은 공개 전 검토가 필요하다고만 정합니다.
근거의 한계: 세 문서에 처리 시간은 없습니다. 규정 자체가 존재하지 않는다고 단정하는 답변은 아닙니다.

3. 검색 성공과 답변 가능은 다릅니다

이 글에서는 자료를 평가할 때 다음 세 관문을 권합니다. 이는 공식 제품 기능 이름이나 검증된 성능 지표가 아니라, 원리를 적용하기 위한 편집·설계 점검 틀입니다.

첫째, 이 사용자가 읽어도 되는 자료인가? 검색 결과가 맞더라도 접근 권한이 없으면 답변의 재료로 제공해서는 안 됩니다. 권한은 프롬프트에 “기밀을 보지 말라”고 쓰는 것만으로 해결되지 않습니다. 인증된 사용자에 맞춰 검색 범위를 제한하는 통제가 필요합니다. Microsoft의 문서 접근 범위 필터 안내는 사용자·그룹별 검색 결과 제한 방식을 설명하며, 필터에 쓰는 문자열 자체가 인증 수단은 아니라고 구분합니다.

둘째, 지금 이 질문에 적용되는 자료인가? 적용 대상·버전·유효 상태를 확인합니다. 날짜가 더 최근이라는 이유만으로 무조건 우선하지 않습니다. 다른 부서용 문서이거나 아직 시행되지 않은 개정안일 수 있습니다.

셋째, 답하려는 내용을 실제로 뒷받침하는가? 질문의 조건과 답변 문장을 원문 구간에 하나씩 연결합니다. P01이 공개 전 검토를 정한다고 해서 검토 시간이나 이미지 저작권 기준까지 설명하는 것은 아닙니다.

4. 근거가 없거나 서로 다르면 보류합니다

확인된 상황	권장 대응
관련 구간이 있고 적용 상태도 확인됨	근거 ID·문서 제목·해당 구간과 함께 답변
일부 조건만 확인됨	확인된 내용만 답하고 나머지는 추가 질문
관련 문서를 찾지 못함	“제공 자료에서는 확인되지 않는다”고 표시
서로 다른 규정이 모두 현재 적용본으로 표시됨	임의로 선택하지 말고 문서 담당자에게 적용 기준 확인
접근 권한이 불명확함	민감한 원문을 모델에 보내거나 노출하지 않고 확인 요청

최종 답변 메모 3. 근거가 충돌하는 질문

질문: “작성자가 확인했으니 바로 공개해도 되나요?”

위 표에서는 P02가 폐기본이므로 P01과 동등한 현행 근거가 아닙니다. 만약 상태 표시 오류로 P01과 P02가 둘 다 현재 적용본으로 표시된다면, 다음처럼 답변을 보류합니다.

현재 적용본으로 표시된 문서의 공개 조건이 서로 다릅니다. P01은 작성자 외 검토자 1명의 확인을 요구하지만, P02는 작성자 확인 뒤 공개할 수 있다고 적혀 있습니다. 어느 문서가 실제 적용본인지 확인되지 않아 바로 공개해도 된다고 안내할 수 없습니다. 문서 담당자에게 적용본과 상태 표시를 확인해 주세요. 확인 전에는 공개 판단을 보류하겠습니다.

충돌 근거: P01의 추가 검토 조건과 P02의 작성자 확인 조건.
보류 범위: 공개 가능 여부. 날짜나 검색 순위로 한 문서를 임의 선택하지 않습니다.

“없다”와 “찾지 못했다”도 구분해야 합니다. 검색 실패만으로 해당 규정이 세상에 존재하지 않는다고 결론 내릴 수는 없습니다. 출처 링크가 붙었다는 이유만으로 답변이 맞는 것도 아닙니다. 링크된 문서가 실제 주장과 일치하는지 읽어야 합니다.

5. 도입 전에는 손으로 정보 흐름부터 확인하세요

개발 도구를 결제하기 전에 다음을 문서 세 개만으로 해볼 수 있습니다.

개인정보·영업비밀이 없는 문서를 고르고 ID·적용 대상·유효 상태를 적습니다.
자료에 답이 있는 질문, 답이 없는 질문, 버전이 충돌하는 질문을 각각 만듭니다.
질문마다 찾아야 할 문서와 근거 구간을 사람이 먼저 표시합니다.
답변 양식을 확인된 내용 / 근거 ID·구간 / 확인되지 않은 내용으로 정하고, 선택한 문서만 사용해 사람이 질문별 답변 초안을 작성합니다.
각 답변 문장을 근거와 대조하고, 문서에 없는 조건을 추가했는지 확인합니다.

이후 실제 도구를 연결한다면 같은 질문으로 관련 자료를 제대로 찾는지, 답변이 그 자료에 충실한지 각각 확인할 수 있습니다. 외부 AI 서비스에 자료를 올릴 때는 업로드 권한과 보관·처리 조건을 먼저 확인해야 합니다.

6. 내 업무에 RAG가 필요한지 확인하기

반복해서 찾는 내부 문서나 최신 자료가 있는가?
문서의 적용 대상·버전·권한을 관리할 수 있는가?
답변에 사용한 원문 구간을 다시 확인할 수 있는가?
근거가 없거나 충돌하면 답변을 보류할 수 있는가?
잘못된 검색과 잘못된 해석을 나눠 점검할 수 있는가?

자료가 몇 개뿐이고 자주 바뀌지 않는다면 정리된 FAQ나 문서 검색만으로 충분할 수 있습니다. 자료가 많아져 RAG를 도입하더라도 찾는 기능의 성공과 답변의 신뢰성을 별개로 관리하는 것이 중요합니다.

RAG의 가치는 모든 질문에 대답하는 데 있지 않습니다. 근거가 있는 범위는 분명히 답하고, 확인할 수 없는 범위는 숨기지 않는 데 있습니다.