AI 에이전트의 Tracing이란? 실행 과정을 추적하고 문제를 찾는 원리

AI 에이전트는 단순히 질문에 답하는 것보다 훨씬 복잡한 일을 할 수 있습니다. 정보를 검색하고, 도구를 호출하고, 여러 단계를 거쳐 최종 결과를 만드는 식입니다.

하지만 결과가 잘못됐을 때는 문제가 생깁니다.

검색이 잘못된 것인지, AI가 정보를 잘못 해석한 것인지, 불필요한 도구를 여러 번 사용한 것인지 결과만 봐서는 알기 어렵기 때문입니다.

이때 필요한 것이 Tracing, 즉 실행 추적입니다.

최초 발행일: 2026년 10월 5일 · 최종 수정일: 2026년 11월 4일

AI 에이전트의 Tracing이란?

Tracing은 AI 에이전트가 하나의 작업을 처리하는 동안 어떤 과정을 거쳤는지 기록하고 확인하는 방식입니다.

예를 들어 사용자가 다음과 같이 요청했다고 가정해 보겠습니다.

“경쟁사 신제품을 조사해서 핵심 내용만 정리해줘.”

에이전트는 바로 답변을 만들지 않을 수 있습니다.

먼저 요청을 분석하고, 검색 도구를 사용하고, 검색 결과를 확인한 뒤 필요한 경우 추가 검색을 할 수 있습니다. 마지막에는 수집한 정보를 정리해 최종 결과를 만듭니다.

이를 간단히 나타내면 다음과 같습니다.

사용자 요청 → 판단 → 검색 → 결과 확인 → 추가 작업 → 최종 답변

Tracing은 이 과정 하나하나를 확인할 수 있게 해주는 기능입니다.

즉, 최종 답변만 보는 것이 아니라 답변이 만들어진 경로를 들여다보는 것입니다.

Tracing이 필요한 이유

AI 에이전트는 작업 단계가 많아질수록 오류가 발생할 수 있는 지점도 많아집니다.

예를 들어 잘못된 자료를 검색했을 수도 있고, 필요한 정보를 찾았지만 AI가 내용을 잘못 해석했을 수도 있습니다.

또는 한 번이면 충분한 검색을 여러 번 반복하거나, 필요하지 않은 도구를 호출할 수도 있습니다.

이런 상황에서 결과만 확인하면 단순히 “AI가 틀렸다”라고 판단하기 쉽습니다.

하지만 Tracing 기록을 보면 어느 단계에서 문제가 시작됐는지 좁힐 수 있습니다.

그래서 Tracing은 단순한 기록 기능이라기보다 에이전트의 오류를 찾고 개선하기 위한 관찰 도구에 가깝습니다.

어떤 내용을 추적할 수 있을까?

Tracing에서는 에이전트가 작업 중 어떤 행동을 했는지 확인할 수 있습니다.

대표적으로는 모델 호출, 도구 사용, 에이전트 간 작업 전달, 가드레일 실행 같은 정보가 포함될 수 있습니다.

예를 들어 검색 기능을 사용하는 에이전트라면 어떤 시점에 검색 도구를 호출했는지, 어떤 결과를 받은 뒤 다음 행동을 결정했는지 확인할 수 있습니다.

멀티에이전트 구조라면 한 에이전트가 다른 에이전트에게 언제 작업을 넘겼는지도 추적할 수 있습니다.

이렇게 실행 과정이 기록되면 복잡한 에이전트 시스템도 단계별로 살펴볼 수 있습니다.

Trace와 Span은 무엇이 다를까?

Tracing을 이해할 때 자주 등장하는 용어가 Trace와 Span입니다.

Trace는 추적 대상으로 묶은 작업 흐름입니다. 아래 시장조사 예시는 일반적인 개념 설명이며, 제품에 따라 묶이는 범위는 다릅니다. 이 글 뒤에서 소개하는 OpenAI Agents API에서는 Session(대화 단위)이 여러 Turn(한 번의 요청 처리)을 포함할 수 있고, Trace는 한 Turn 안의 모델 응답·도구 호출·위임 작업을 보여줍니다. (OpenAI 공식 설명)

예를 들어 “시장조사 보고서를 작성해줘”라는 요청이 들어온 순간부터 최종 보고서가 완성될 때까지 전체 과정이 하나의 Trace가 될 수 있습니다.

반면 Span은 그 안에 포함된 개별 작업 단위입니다.

시장 자료 검색, 데이터 분석, 경쟁사 비교, 최종 보고서 작성 등이 각각 하나의 Span이 될 수 있습니다.

쉽게 정리하면 다음과 같습니다.

Trace = 추적 대상으로 묶은 작업 흐름(제품별 범위 확인)

Span = 전체 작업을 구성하는 세부 단계

이 구조를 이용하면 긴 실행 과정에서도 어떤 단계에서 문제가 발생했는지 좀 더 쉽게 확인할 수 있습니다.

Tracing과 Evals는 어떻게 다를까?

Tracing과 Evals는 모두 AI 에이전트를 개선할 때 사용되지만 역할은 다릅니다.

Tracing은 실행 기록을 관찰하는 방식이고, Evals는 정해 둔 기준으로 품질을 평가하는 방식입니다. Evals도 최종 답변뿐 아니라 도구 선택·작업 순서 같은 과정에 점수를 매길 수 있으며, 이때 Trace를 평가 자료로 사용할 수 있습니다. (Anthropic 공식 평가 설명)

예를 들어 고객 상담 에이전트가 잘못된 답변을 했다고 가정해 보겠습니다.

Evals를 이용하면 답변이 정확하지 않았다는 사실을 평가할 수 있습니다.

그다음 Tracing을 확인하면 잘못된 자료를 검색했는지, 모델이 내용을 잘못 해석했는지, 필요한 도구를 사용하지 않았는지 실행 과정에서 원인을 찾을 수 있습니다.

따라서 둘은 경쟁하는 기능이 아니라 서로 보완하는 관계입니다.

Evals가 문제를 발견한다면 Tracing은 원인을 찾는 데 도움을 줍니다.

가상의 고객 문의에서 Trace 읽기

다음은 Trace를 읽는 방법을 설명하기 위한 가상의 예시입니다. 실제 고객 문의, 실제 Trace 기록, 측정 데이터 또는 테스트 결과가 아닙니다. 배송 예정일이 조회되지 않았는데도 답변이 단정적으로 생성되는 상황을 가정합니다.

단계	가상 Trace 기록	해석 및 개선 방향
고객 문의	“제 주문은 언제 도착하나요?”	배송 예정일을 확인해야 하는 요청입니다.
도구 호출 성공	주문 조회 도구 호출이 오류 없이 완료되고, 주문 상태 “출고 완료”를 반환합니다.	도구 호출 자체는 성공했습니다. 다만 호출 성공이 필요한 정보까지 모두 반환했다는 뜻은 아닙니다.
배송 예정일 누락	반환 결과에 배송 예정일 필드가 없거나 값이 비어 있습니다.	도구 결과에서 배송 날짜를 확인할 수 없습니다. 데이터 제공 경로나 필드 매핑을 점검합니다.
근거 없는 답변	에이전트가 “내일 도착 예정입니다”라고 답하지만 Trace의 도구 결과에는 날짜 근거가 없습니다.	답변이 관찰된 데이터로 뒷받침되지 않습니다. Trace는 답변의 근거가 어디서 끊겼는지 보여주는 단서입니다.
개선 방향	날짜가 없을 때도 답변을 생성하는 흐름을 검토합니다.	예정일을 도구 응답에 포함하도록 점검하고, 날짜가 없으면 확인할 수 없다고 안내하게 합니다. 수정 후에는 별도 테스트 입력으로 재검증합니다.

이 가상 사례처럼 도구 호출의 성공 여부, 반환 데이터의 완전성, 최종 답변의 근거를 나누어 확인하면 문제 지점을 더 구체적으로 살펴볼 수 있습니다.

Tracing은 성능 개선에도 활용된다

Tracing은 오류를 찾는 데만 사용하는 것은 아닙니다.

에이전트의 실행 기록을 살펴보면 불필요한 작업도 발견할 수 있습니다.

한 번이면 충분한 검색을 반복하거나, 단순한 요청인데 여러 모델과 도구를 거치는 경우가 대표적입니다.

이런 과정이 많아지면 응답 시간이 길어지고 시스템 비용도 증가할 수 있습니다.

Tracing을 통해 어떤 단계가 오래 걸리는지, 어떤 도구 호출이 반복되는지 확인하면 워크플로를 더 단순하게 만들 수 있습니다.

다만 모든 정보를 무조건 기록하는 것이 좋은 것은 아닙니다.

사용자 입력이나 기업 내부 자료처럼 민감한 정보가 포함될 수 있기 때문에 어떤 데이터를 기록하고 보관할지 함께 설계해야 합니다.

OpenAI Agents에서 Trace 확인하기

OpenAI Agents 대시보드에서 확인하는 메뉴 경로는 다음과 같습니다.

Logs → Agents → 프로젝트 선택 → Session 선택 → Turn 펼치기

Turn을 펼친 뒤 확인할 단계를 선택하면 기록된 실행 세부 정보를 볼 수 있습니다. Trace는 Turn 종료 후 구성되므로 답변보다 늦게 나타날 수 있습니다. Session → Turn → Tool(도구)의 호출 인자·반환값 → Generation(모델 응답)의 최종 답변 순서로 대조해 보세요. 값이 비어 있으면 작업이 없었다고 단정하지 말고 기록 여부와 준비 상태를 확인하세요. 자세한 절차와 기록 항목은 OpenAI Agents API Tracing 공식 문서를 참고하세요.

좋은 AI 에이전트는 실행 과정도 확인할 수 있어야 한다

AI 에이전트가 복잡한 업무를 맡을수록 중요한 것은 최종 결과만이 아닙니다.

문제가 발생했을 때 어떤 과정을 거쳐 그 결과가 만들어졌는지 확인할 수 있어야 합니다.

Planning이 작업의 방향을 정하고 도구가 실제 행동을 수행한다면, Tracing은 그 과정이 제대로 진행됐는지 확인하는 역할을 합니다.

결국 신뢰할 수 있는 AI 에이전트는 결과만 만들어내는 시스템이 아니라 실행 과정을 관찰하고, 문제를 찾고, 다시 개선할 수 있는 시스템에 가깝습니다.

에이전트의 업무가 복잡해질수록 Tracing의 중요성도 함께 커질 것입니다.