회사는 바뀌었다. AI의 답은 그대로다.
회사는 지난달에 기준을 바꿨다. AI는 오늘도 작년의 기준으로 답한다. 답변에는 출처가 있다. 사내 문서다. 담당자가 승인했던 자료다.
틀린 문서를 읽은 것이 아니다. 지금도 적용되는 문서인지 구분하지 못한 것이다.
새 문서를 올렸다고 변화가 끝나지는 않는다
한 기업이 유지보수 서비스의 무상 지원 범위를 바꿨다고 가정해 보자. 다음 달 신규 계약부터 새 기준을 적용한다. 기존 계약은 약정된 기간까지 종전 조건을 유지한다. 문제를 설명하기 위한 가상 상황이다.
사내에는 두 기준이 모두 남아 있어야 한다. 이때 “가장 최근 문서를 사용하라”는 지시만으로 충분할까. 새 계약 고객에게 옛 조건을 안내하면 잘못이다. 기존 계약 고객에게 새 조건을 일괄 적용해도 잘못이다.
필요한 것은 최신 문서 한 장이 아니다. 어떤 기준이, 언제부터, 누구에게 적용되는지를 구분하는 일이다.
AI를 도입하기 전에도 있었던 문제다. 이제는 그 구분이 답변과 업무 실행에 어떻게 반영되는지까지 확인해야 한다.
찾아냈다는 것과 제대로 적용했다는 것은 다르다
2026년 5월 LREC에 발표된 「Ragability Benchmark」는 서로 충돌하는 자료를 제공했을 때 언어모델이 어떻게 답하는지 평가했다. 연구진은 일곱 모델을 시험했고, 충돌 여부를 알아차리는 능력과 자료의 내용을 바탕으로 답하는 능력이 같지 않음을 보고했다. [1]
실제 기업의 계약 변경을 조사한 연구는 아니다. 다만 충돌을 발견했다고 올바른 답변까지 보장되지는 않는다는 점을 보여준다.
더 최근인 10월 18일 공개된 TREK 연구도 관련된 문제를 다룬다. 연구진은 빠르게 변하는 지식에 관한 검색·추론 과정을 나누어 분석했다. 해당 평가에서는 필요한 근거를 검색한 뒤에도 상충하는 정보 때문에 답변에 실패하는 경우가 주요 병목으로 나타났다. [2]
아직 동료심사 통과를 확인하지 않은 프리프린트다. 모든 기업용 AI에 같은 결과가 나온다는 뜻은 아니다. 그러나 새 자료를 검색할 수 있게 만드는 것만으로 문제를 해결했다고 보기 어렵다는 근거는 된다.
여기서 기업이 물어야 할 질문이 달라진다. “새 문서를 넣었는가?” 그다음 질문이 필요하다. “옛 문서와 함께 주어져도, 이번 고객에게 적용할 기준을 고를 수 있는가?”
과거를 지우면 다른 문제가 생긴다
오래된 자료를 모두 삭제하는 것도 해법이 되기 어렵다. 기존 계약을 설명해야 한다. 과거의 결정 이유를 검토해야 한다. 당시 고객에게 무엇을 약속했는지 확인해야 한다.
보관할 가치와 현재 업무에 적용할 권한은 다르다. 과거 기록은 남기되, 오늘의 기본 답변을 만드는 자료와 구분할 수 있어야 한다. 예전 정책이 특정 고객에게 여전히 유효하다면 그 조건도 남겨야 한다.
내가 제안하는 출발점은 단순하다.
| 기준을 바꿀 때 남길 항목 | 확인할 질문 |
|---|---|
| 적용 대상 | 어떤 상품·지역·고객·계약에 해당하는가? |
| 효력 시작일 | 발표일과 실제 적용일은 같은가? |
| 종전 기준의 유효 범위 | 누구에게 언제까지 유지되는가? |
| 대체 관계 | 어느 기준의 어떤 부분을 바꿨는가? |
| 변경 책임자 | 충돌하거나 불분명할 때 누가 결정하는가? |
이 표는 연구에서 효과가 입증된 표준이 아니라, 변경 관리를 위해 제안하는 점검 기준이다.
수정은 답변 한 번으로 끝나면 안 된다
담당자가 AI의 답을 고친다. 오늘의 문제는 해결된다. 내일 다른 직원이 같은 질문을 하면 어떻게 될까.
Meta가 2026년 9월 공개한 기술 사례에서는 전문가의 피드백을 구조화된 지식과 절차의 수정으로 연결한다. 원래 문제가 해결됐는지 시험하고, 다른 답변이 나빠지지 않았는지도 검증한 뒤 전문가가 검토하는 방식이다. 모델을 다시 학습시키지 않고 주변 지식과 절차를 갱신하는 접근이다. [3]
이는 특정 전문 영역에 관한 기업 자체 설명이며, 독립적인 효과 검증이나 브랜드 성과의 증거는 아니다. 참고할 부분은 한 번의 답변 수정이 다음 업무에도 반영되도록 관리한다는 구조다.
앞의 가상 기업이라면 새 기준을 등록한 뒤 최소한 다음 상황을 확인할 수 있다.
- 새 기준 적용일 이후의 신규 계약.
- 종전 조건이 유지되는 기존 계약.
- 계약 날짜나 상품 정보가 부족한 문의.
앞의 두 상황에는 서로 다른 근거로 답해야 한다. 마지막 상황에서는 필요한 정보를 더 물어야 한다. 무조건 새 기준으로 답하는 AI도, 계속 옛 기준으로 답하는 AI도 이 일을 제대로 수행한 것이 아니다.
브랜드의 변화에는 적용 과정이 있다
회사는 전략 발표로 방향을 바꿀 수 있다. 고객은 자신의 계약과 서비스에서 그 변화를 만난다.
브랜드가 약속을 바꾸었다면, 무엇이 달라졌는지뿐 아니라 누구의 약속을 계속 지켜야 하는지도 정해야 한다. 그 구분이 직원 지침과 AI의 답변, 실제 처리 과정에 이어져야 한다.
나는 이 연결을 브랜드디자인매니지먼트의 운영 과제로 본다. 새로운 표현을 만드는 것에서 멈추지 않고, 변경된 약속이 고객의 상황에 맞게 작동하도록 설계하는 일이다. 이는 위 연구들의 직접 결론이 아니라, 그 근거를 브랜드 운영에 연결한 해석이다.
회사에는 기록이 많을 수 있다. 그러나 기록이 많다는 사실만으로 지금의 회사를 정확히 설명할 수 있는 것은 아니다. 다음 정책을 승인할 때 이렇게 물어보자.
새 기준은 어디에 올릴 것인가. 그리고 옛 기준은, 이제 누구에게만 유효한가.
핵심 질문과 자료의 범위
왜 최신 문서만으로 충분하지 않은가? 효력 시작일과 적용 대상, 기존 약정의 예외가 다를 수 있기 때문이다. 오래된 문서는 모두 삭제해야 하는가? 과거 기록은 보관하되 현재 업무에 적용할 조건을 구분하자는 것이 이 글의 제안이다.
[1] Gross·Petrak·Krenn, LREC 2026 학회 발표 논문, 2323–2333쪽. 서로 충돌하는 문맥을 제공하는 벤치마크이며 실제 기업 계약의 오류율을 측정한 연구가 아니다. [2] Hu 외, 2026년 10월 18일 arXiv 프리프린트. 해당 평가의 검색·추론 실패를 분석한 연구로, 동료심사 통과를 확인하지 않았다. [3] Meta Engineering, 2026년 9월 2일 기업 기술 설명. 독립적인 성과 검증은 아니다.
유지보수 계약 사례는 가정이다. 표·점검 상황·브랜드디자인매니지먼트와의 연결은 저자의 제안과 해석이다. 기존 연구노트가 조직의 기억과 접점 간 일관성을 다뤘다면, 이번 글은 기준이 바뀔 때 종전 기준의 유효 범위를 구분하는 문제에 집중한다.