AI 에이전트 가드레일이란? 잘못된 행동을 막는 안전장치

AI 에이전트는 단순히 질문에 답하는 것보다 더 많은 일을 할 수 있습니다.

검색을 하고, 외부 도구를 사용하고, 데이터를 조회하거나 다른 시스템에 작업을 요청할 수도 있습니다.

하지만 AI가 할 수 있는 일이 많아질수록 새로운 문제가 생깁니다.

사용자의 요청을 잘못 이해하거나, 사용해서는 안 되는 도구를 선택하거나, 허용되지 않은 작업을 실행할 가능성도 있기 때문입니다.

이런 상황을 줄이기 위해 사용하는 것이 가드레일(Guardrail)입니다.

최초 발행일: 2026년 10월 4일 · 최종 수정일: 2026년 11월 4일

AI 에이전트 가드레일이란 무엇일까?

가드레일은 AI가 정해진 범위 안에서 행동하도록 제한하는 안전장치입니다.

도로의 가드레일이 자동차가 위험한 영역으로 벗어나는 것을 막는 것과 비슷합니다.

AI 에이전트에서도 미리 규칙을 정해두고, 특정 행동을 허용하거나 차단할 수 있습니다.

예를 들어 회사 내부에서 사용하는 AI 에이전트가 있다고 가정해 보겠습니다.

직원은 AI에게 문서를 검색하거나 회의 일정을 확인하도록 요청할 수 있습니다.

하지만 회사의 중요한 파일을 삭제하거나 외부로 전송하는 작업까지 자유롭게 허용하면 문제가 생길 수 있습니다.

따라서 읽기는 허용하지만 삭제는 차단하는 식으로 권한을 제한할 수 있습니다.

이런 제한 장치가 가드레일의 대표적인 역할입니다.

입력 단계에서도 가드레일이 필요하다

가드레일은 AI가 작업을 실행할 때만 사용하는 것이 아닙니다.

사용자가 요청을 입력하는 순간부터 적용할 수 있습니다.

예를 들어 사용자가 시스템의 내부 설정을 공개하거나 다른 사람의 개인정보를 조회하도록 요청할 수 있습니다.

입력 검사를 먼저 끝내도록 구성하면 허용되지 않은 요청을 에이전트 실행 전에 차단할 수 있습니다.

다만 OpenAI Agents SDK의 입력 가드레일은 기본값인 run_in_parallel=True에서 에이전트와 병렬로 실행하므로, 검사 완료 전에 토큰을 쓰거나 도구를 실행할 수 있습니다. 아래 순서도처럼 선차단하려면 run_in_parallel=False인 차단 모드를 사용해야 합니다. 입력 검사는 체인의 첫 에이전트에 적용되므로, 실제 삭제·전송 권한과 승인 검사는 도구 실행 경계에서도 별도로 적용하세요. (SDK 공식 실행 모드)

즉,

사용자 요청
→ 입력 검사
→ 허용 여부 판단
→ AI 에이전트 실행

같은 과정이 만들어집니다.

잘못된 작업이 실행된 뒤 문제를 해결하는 것보다 처음부터 위험한 요청을 차단하는 것이 훨씬 안전합니다.

도구 사용에도 제한이 필요하다

AI 에이전트의 특징 중 하나는 외부 도구를 사용할 수 있다는 것입니다.

검색 API, 데이터베이스, 이메일, 캘린더, 결제 시스템 등 다양한 도구를 연결할 수 있습니다.

하지만 모든 도구에 동일한 권한을 주는 것은 위험할 수 있습니다.

예를 들어 캘린더 에이전트라면 다음과 같이 권한을 나눌 수 있습니다.

일정 조회 → 자동 실행 가능

새 일정 생성 → 자동 실행 가능

기존 일정 삭제 → 사용자 확인 필요

이처럼 작업의 위험도에 따라 권한을 다르게 설정하는 것도 가드레일의 한 방식입니다.

특히 실제 데이터를 수정하는 작업은 사람이 확인한 뒤 실행하도록 만드는 방식이 많이 사용됩니다.

Human in the Loop는 무엇일까?

AI 에이전트가 모든 결정을 혼자 처리해야 하는 것은 아닙니다.

중요한 작업에서는 사람의 승인을 중간에 넣을 수 있습니다.

이를 일반적으로 Human in the Loop라고 합니다.

예를 들어 AI 에이전트가 고객에게 이메일 초안을 작성하는 것까지는 자동으로 처리할 수 있습니다.

하지만 실제 이메일을 보내기 전에는 사람이 내용을 확인하도록 설정할 수 있습니다.

AI가 작성
→ 사람이 확인
→ 승인
→ 실제 실행

이 구조를 사용하면 자동화의 편리함을 유지하면서도 실수를 줄일 수 있습니다.

특히 결제, 계약, 개인정보 변경처럼 결과를 되돌리기 어려운 작업에서는 사람의 확인 과정이 중요해집니다.

가상 일정 취소 요청에서 승인 절차 살펴보기

다음은 일정 관리 AI가 회의를 취소하고 참석자에게 알리는 흐름을 설명하기 위한 가상 사례입니다. 실제 캘린더나 이메일에서 실행한 작업, 측정 데이터 또는 테스트 결과가 아닙니다.

단계	가상 사례에서 확인할 내용	다음 행동과 통제
입력 검사	요청자가 “내일 오후 3시 회의를 취소하고 참석자에게 알려줘”라고 요청합니다. 사용 권한과 회의 식별 정보가 충분한지 살핍니다.	같은 시간대에 회의가 여러 개이거나 요청 권한이 확인되지 않으면 대상과 권한을 확인할 때까지 멈춥니다.
일정 조회	캘린더에서 회의 제목, 날짜·시간, 참석자 목록을 읽어 정확한 대상을 확인합니다.	조회는 읽기 작업으로 수행하고, 아직 일정을 변경하거나 취소하지 않습니다. 대상이 요청과 맞지 않으면 확인을 요청합니다.
일정 삭제 전 사용자 승인	삭제할 회의의 제목·시간·참석자를 사용자에게 보여주고 삭제의 영향을 설명합니다.	명시적 승인을 받은 경우에만 삭제를 진행합니다. 승인이 없거나 거부되면 일정을 삭제하지 않습니다.
이메일 발송 전 사용자 승인	발송 대상 참석자와 이메일 본문을 미리 보여줍니다.	일정 삭제 승인이 이메일 발송까지 허용하는 것은 아닙니다. 수신자와 내용에 대한 별도 승인을 받은 뒤에만 발송합니다.
실행 결과 확인	캘린더 응답과 이메일 서비스 응답을 각각 확인하고, 가능한 경우 일정을 다시 조회합니다.	일정 삭제 여부와 이메일 발송 상태를 구분해 보고합니다. 서비스가 접수·대기 상태만 반환했다면 “전달 완료”라고 단정하지 않습니다.

이 흐름은 삭제와 이메일 발송을 서로 다른 외부 영향으로 보고 각각 승인받도록 설계한 예시입니다. 한 단계가 실패하면 나머지 작업까지 완료된 것처럼 보고하지 말고 실제 확인된 상태를 구분해야 합니다.

출력 결과도 검사할 수 있다

AI가 최종 답변을 만든 뒤에도 가드레일을 적용할 수 있습니다.

예를 들어 AI가 생성한 답변에 개인정보가 포함되어 있는지 검사하거나 특정 정보가 외부로 노출되지 않도록 확인할 수 있습니다.

전체 흐름을 보면 다음과 같습니다.

사용자 요청
→ 입력 가드레일
→ AI 판단
→ 도구 사용 가드레일
→ 결과 생성
→ 출력 가드레일

즉, 한 곳에만 안전장치를 두는 것이 아니라 여러 단계에 가드레일을 적용할 수 있습니다.

OpenAI Agents SDK 도구 가드레일의 적용 범위

OpenAI Agents SDK의 도구 가드레일은 모든 외부 도구에 자동으로 적용되는 전역 검사기가 아닙니다. 공식 문서상 이 가드레일은 검사기가 연결된 FunctionTool 호출을 대상으로 합니다. 로컬 MCP 서버에는 별도의 도구 입력·출력 가드레일을 설정할 수 있습니다.

반면 handoff는 함수 도구와 다른 실행 경로를 사용하고, Hosted MCP·웹 검색 같은 호스팅 도구와 일부 내장 실행 도구도 같은 FunctionTool 가드레일 경로를 사용하지 않습니다. 따라서 한 함수 도구에 가드레일을 붙였다고 모든 외부 연동까지 검사된다고 가정하면 안 됩니다. 실제로 사용하는 도구·연동마다 지원 범위를 확인하고, 중요한 부작용은 실행 경계에서 별도의 권한 제한이나 사람의 승인을 적용해야 합니다.

가드레일만 있으면 AI는 안전할까?

가드레일이 있다고 해서 모든 문제가 사라지는 것은 아닙니다.

규칙을 너무 강하게 설정하면 정상적인 작업까지 막을 수 있고, 반대로 규칙이 느슨하면 위험한 행동을 충분히 차단하지 못할 수 있습니다.

따라서 실제 AI 서비스를 운영할 때는 가드레일을 설정한 뒤 지속적으로 테스트해야 합니다.

어떤 상황에서 문제가 발생했는지 확인하고 규칙을 수정하는 과정이 필요합니다.

결국 AI 에이전트의 안전성은 하나의 기능으로 해결되는 것이 아니라 여러 안전장치를 조합해 관리하는 방식에 가깝습니다.

AI 에이전트가 발전할수록 가드레일도 중요해진다

AI 에이전트가 단순한 정보 검색을 넘어 실제 업무를 수행하기 시작하면 가드레일의 중요성은 더욱 커집니다.

AI가 할 수 있는 일이 많아진다는 것은 잘못된 행동이 발생했을 때 영향을 받는 범위도 커질 수 있다는 의미입니다.

그래서 실제 AI 에이전트 시스템에서는 능력을 높이는 것과 동시에 행동 범위를 통제하는 기술도 함께 필요합니다.

가드레일은 AI의 능력을 제한하기 위한 장치라기보다 AI를 실제 업무에서 안전하게 사용할 수 있도록 만드는 기본 구조라고 볼 수 있습니다.

공식 참고 자료

OpenAI Agents SDK: Guardrails

OpenAI API: Guardrails and human review