AI에게 어제 정한 조건을 다시 설명해 본 적이 있나요? AI 에이전트의 메모리는 대화 내용, 사용자 선호, 작업 진행 상황 등을 저장하고 필요할 때 다시 활용하는 기능입니다. 다만 기록이 남아 있다는 것과 지금 답변에 그 기록이 반영된다는 것은 다릅니다. 무엇을 저장하고 언제 꺼내 읽는지에 따라 기억의 정확도가 달라집니다.
대화 기록이 있는데도 왜 같은 설명을 해야 할까?
메신저에 예전 대화가 남아 있어도 사람이 매번 처음부터 끝까지 읽지는 않습니다. AI도 화면에 보이는 모든 기록을 매번 빠짐없이 참고한다고 생각하면 곤란합니다.
언어 모델이 한 번의 응답을 만들 때 참고하는 정보의 범위를 ‘컨텍스트’라고 합니다. 여기에는 사용자의 질문뿐 아니라 이전 메시지, 작업 지침, 검색 결과 등이 들어갈 수 있습니다. 이 정보를 담는 공간에는 한계가 있습니다.
Anthropic은 긴 작업을 이어가는 방법으로 대화 요약과 별도 메모 작성을 설명합니다. 중요한 내용을 보관한 뒤 필요한 시점에 다시 읽도록 하는 방식입니다. 따라서 AI가 앞선 조건을 놓쳤다면 모델 성능 외에도 어떤 정보가 전달됐는지 살펴볼 필요가 있습니다.[1]
단기 기억과 장기 기억은 무엇이 다를까?
AI 개발 도구인 LangGraph는 메모리를 단기 기억과 장기 기억으로 구분합니다.[2] 여기서 단기와 장기는 단순히 몇 분, 며칠처럼 시간만으로 나누는 개념이 아닙니다. 정보가 어느 대화와 작업까지 이어지는지가 중요합니다.
단기 기억은 하나의 대화 흐름을 이어가는 데 쓰입니다. 예를 들어 보고서 초안을 만든 뒤 “두 번째 문단만 줄여줘”라고 말했을 때, 앞서 작성한 초안을 참고하는 경우입니다. 저장 방식에 따라 같은 대화를 나중에 다시 열어 이어갈 수도 있습니다.
장기 기억은 여러 대화에서 다시 사용할 정보를 보관하는 데 쓰입니다. 사용자가 선호하는 문체, 반복 업무의 작성 규칙 등이 예입니다. 다만 새 대화에서도 활용하려면 해당 서비스에 저장과 검색 기능이 구현되어 있어야 합니다.
모든 에이전트가 두 기능을 똑같이 제공하는 것은 아닙니다. ‘메모리 지원’이라는 설명을 볼 때는 무엇을 어느 범위에서 기억하는지 함께 확인해야 합니다.
블로그 작성 에이전트에 적용하면 이렇게 달라집니다
블로그 운영을 돕는 가상의 에이전트를 생각해 보겠습니다. 이 예시는 특정 제품을 사용한 실험 결과가 아니라, 메모리 구조를 설명하기 위한 상황입니다.
첫날 사용자가 “초보자도 이해할 수 있게 쓰고, 이미 발행한 주제는 제외해 줘”라고 요청합니다. 다음 날에는 “오늘 글도 작성해 줘”라고만 말합니다.
이때 에이전트가 제대로 이어서 일하려면 문체 규칙과 발행 목록을 다시 참고할 수 있어야 합니다. 어제 대화를 보관해 놓기만 하고 오늘 작업에서 불러오지 못하면, 주제를 중복 추천하거나 글의 난이도를 바꿀 수 있습니다.
운영한다면 기록을 다음처럼 정리하는 방법을 권합니다.
- 작성 규칙: 독자 수준, 문체, 출처 표기 방식
- 발행 목록: 제목, 핵심 주제, 발행일
- 진행 상황: 조사 완료, 초안 작성, 발행 대기 여부
특히 ‘작성한 글’과 ‘발행한 글’을 구분해야 합니다. 초안만 만든 글을 발행 완료로 저장하면 이후 주제 선정까지 어긋날 수 있습니다. 이런 상태 구분은 기억 용량을 늘리는 것보다 먼저 정리할 만한 운영 원칙입니다.
많이 저장하면 무조건 더 잘 기억할까?
저장량만 늘린다고 답변이 정확해지는 것은 아닙니다. Anthropic은 컨텍스트에 정보가 많아질수록 관련 내용을 정확히 활용하기 어려워지는 문제를 설명합니다.[1] 오래된 조건과 새 조건이 함께 들어 있으면 무엇을 따라야 하는지도 불명확해질 수 있습니다.
예를 들어 지난주에는 “표를 자주 사용해 줘”라고 했다가 이번 주에 “표는 꼭 필요할 때만 넣어 줘”로 바꿨다고 가정해 보겠습니다. 두 문장을 동등한 규칙으로 보관하면 결과가 일관되지 않을 수 있습니다.
이런 일을 줄이려면 규칙을 바꿀 때 기존 조건을 대체한다는 점을 명확하게 적고, 현재 적용할 규칙을 별도로 관리하는 편이 좋습니다. 발행 목록처럼 정확성이 필요한 자료에는 날짜와 실제 글 주소도 함께 남기는 방법을 권합니다.
메모리 기능을 사용할 때 확인할 세 가지
첫째, 새 대화에서도 이어지는지 확인합니다. 같은 대화에서만 유지되는 정보인지, 다른 대화에서도 불러올 수 있는 정보인지 구분해야 합니다.
둘째, 잘못 저장된 내용을 고칠 수 있는지 확인합니다. 선호와 업무 기준은 바뀝니다. 기억을 추가하는 기능만큼 수정하고 삭제하는 기능도 중요합니다.
셋째, 중요한 업무를 시작하기 전에 적용할 조건을 짧게 확인합니다. “이번 글에 적용할 작성 규칙과 완료된 작업을 먼저 정리해 줘”라고 요청하는 방식입니다. 다만 AI가 조건을 말로 설명했다는 것만으로 저장 상태까지 검증된 것은 아니므로, 중요한 기록은 원본 문서와 대조하는 편이 좋습니다.
AI 에이전트의 메모리는 반복 설명을 줄이고 작업을 이어가는 데 도움을 줄 수 있습니다. 활용할 때는 기억한다는 표현만 믿기보다, 필요한 정보가 저장되어 있고 현재 작업에서 실제로 참고되는지 확인하는 것이 중요합니다.