AI 상담사는 어떻게 회사 정책을 찾아 답할까? RAG의 역할
고객이 쇼핑몰 상담 AI에게 묻습니다.
"세일 상품도 사이즈가 안 맞으면 무료로 반품할 수 있나요?"
AI는 몇 초 안에 자연스러운 답변을 만들 수 있습니다. 하지만 고객 상담에서는 말을 얼마나 자연스럽게 하느냐보다 그 답이 우리 회사의 실제 정책을 확인하고 한 말인지가 더 중요합니다.
일반적인 AI 모델은 우리 회사의 최신 반품 규정이나 회원 등급별 혜택, 상품별 배송 조건까지 모두 알고 있지 않습니다.
그래서 AI에게 모든 정책을 외우게 하는 대신, 고객의 질문에 필요한 정보를 회사의 지식에서 찾아보고 답하게 합니다.
이때 사용하는 대표적인 방법이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.
RAG는 필요한 정보를 먼저 찾고, 그 근거로 답합니다
RAG의 원리는 생각보다 단순합니다. 고객이 질문하면 AI가 바로 답을 만드는 대신, 먼저 회사의 정책과 상품 정보에서 관련 내용을 찾습니다. 그리고 찾아온 정보를 근거로 답변을 만듭니다.
예를 들어 고객이 묻습니다.
"세일 상품도 무료 반품되나요?"
AI 상담사는 "세일 상품도 반품할 수 있지만, 단순 변심인 경우 반품 배송비 6,000원이 부과됩니다."라고 답합니다.
AI가 우리 쇼핑몰의 반품 정책을 처음부터 알고 있었던 게 아닙니다.
질문을 받은 순간 필요한 정책을 찾아보고, 그 내용을 근거로 답한 것입니다.
그런데 '찾아본다'고 항상 제대로 찾는 건 아닙니다
여기서 RAG의 성능 차이가 생깁니다.
고객이 "VIP 회원도 반품 배송비를 내야 하나요?"라고 물었다고 해보겠습니다.
회사에는 다음 두 정보가 모두 존재합니다.
- 일반 반품 정책 — 단순 변심 시 반품 배송비 3,000원
- VIP 회원 혜택 — 월 3회까지 무료 반품
AI가 첫 번째 정보만 찾으면 답은 틀립니다. 반대로 VIP 회원 무료 반품이라는 내용만 가져오면 월 3회까지 라는 조건을 놓칠 수도 있습니다.
즉 정확한 답을 위해서는 단순히 질문과 비슷한 문장을 찾는 것만으로는 부족합니다.
필요한 정보를 제대로 찾고, 그 정보가 누구에게 어떤 조건으로 적용되는지까지 함께 가져와야 합니다.
그렇다면 어떻게 해야 할까요?
1. AI가 찾기 좋은 형태로 지식을 정리합니다
회사 문서를 전부 AI에 연결한다고 검색이 잘되는 것은 아닙니다.
예를 들어 하나의 고객센터 운영 정책 문서 안에 배송·교환·반품·회원 혜택이 수십 페이지에 걸쳐 섞여 있다면 필요한 내용을 정확히 찾기 어려울 수 있습니다.
반대로 문서를 너무 잘게 나눠도 문제가 생깁니다.
"월 3회까지 무료"
이 문장만 따로 떨어져 있다면 무엇이 무료인지, 누구에게 적용되는 정책인지 알 수 없습니다.
그래서 RAG에서는 긴 문서를 검색하기 적절한 단위로 나누되, 각 정보가 어떤 맥락에 속하는지 함께 유지하는 것이 중요합니다.
예를 들어,
- 맥락이 부족한 정보
- "월 3회까지 무료"
- 맥락이 유지된 정보
- VIP 회원 반품 혜택
- VIP 회원은 단순 변심으로 인한 반품 배송비를 월 3회까지 면제받을 수 있습니다.
처럼 정리되어 있을 때 AI가 훨씬 정확한 근거를 찾을 수 있습니다.
얼마나 많은 문서를 넣느냐보다, 나중에 AI가 필요한 정보를 찾을 수 있는 형태로 지식을 만들어두는 것이 중요합니다.
2. '무슨 정책인지'뿐 아니라 '언제, 누구에게 적용되는지'도 알려줍니다
상담 정책은 모든 고객에게 똑같이 적용되지 않습니다.
같은 반품 문의라도
- 일반 회원 / VIP 회원
- 정상 상품 / 세일 상품
- 국내 배송 / 해외 배송
에 따라 답이 달라질 수 있습니다.
그래서 정책 내용과 함께 그 정책이 적용되는 조건도 관리해야 합니다.
예를 들면 다음과 같습니다.
- 정책 — 반품 배송비
- 회원 등급 — VIP
- 상품 유형 — 일반·세일
- 적용 기간 — 2026.01.01~
- 상태 — 현재 적용
이런 정보를 메타데이터(metadata)라고 합니다.
고객이 VIP 회원의 세일 상품 반품에 대해 묻는다면 단순히 반품과 관련 있는 문서를 찾는 대신, VIP 회원이면서 세일 상품에 적용되는 현재 정책을 우선해서 찾을 수 있습니다.
중요한 건 AI에게 정책의 내용만 알려주는 것이 아니라 "이 정보는 누구에게, 언제, 어떤 상황에서 적용되는가"까지 함께 알려주는 것입니다.
3. 처음 찾은 정보가 정말 맞는지 한 번 더 확인합니다
고객의 질문과 비슷한 정책이 여러 개 존재하는 경우도 많습니다.
예를 들어
- 일반 회원 반품 정책
- VIP 회원 반품 정책
- 세일 상품 반품 정책
- 해외배송 상품 반품 정책
은 모두 반품과 관련되어 있습니다.
검색 결과 가장 먼저 나온 하나를 바로 답변에 사용한다면, 고객에게 가장 적합한 정책이 아닐 수도 있습니다.
그래서 관련 있어 보이는 정보를 여러 개 찾은 뒤 고객의 질문과 가장 잘 맞는 정보가 무엇인지 다시 비교해 순서를 조정하는 방식을 사용할 수 있습니다.
이를 reranking(재순위화)이라고 합니다.
쉽게 말하면,
- 관련 있어 보이는 정책을 넓게 찾고
- 그중 고객의 질문과 가장 잘 맞는 정책을 다시 고르고
- 선택된 근거를 바탕으로 답하는 것입니다.
검색 한 번으로 끝내는 대신 '후보를 찾는 과정'과 '가장 적절한 근거를 고르는 과정'을 나누는 것입니다.
그래도 근거가 없다면, 답하지 않아야 합니다
여기까지 잘 설계해도 모든 질문에 답할 수 있는 것은 아닙니다.
고객이 이렇게 물었다고 해보겠습니다.
"택을 제거했지만 한 번도 입지 않았는데 이번 한 번만 반품해주실 수 있나요?"
회사 정책에는 택 제거 시 반품 불가라고 되어 있지만, 상품 하자나 오배송 등 상황에 따라 담당자의 판단이 필요할 수도 있습니다.
이런 문의까지 AI에게 반드시 답하게 하면 오히려 없는 판단을 만들어낼 수 있습니다.
그래서 마지막으로 필요한 것은 AI가 답할 수 있는 조건을 정하는 것입니다.
- 관련 정책과 근거가 충분함 → AI가 근거 안에서 답변
- 정책이 서로 충돌함 → 추가 확인 또는 상담사 연결
- 관련 근거를 찾지 못함 → 임의로 답하지 않고 상담사 연결
- 예외 승인이 필요한 상황 → 담당자에게 전달
RAG의 정확도를 높인다는 것은 AI가 더 많은 질문에 답하게 만드는 것만을 의미하지 않습니다.
근거가 충분할 때만 답하게 만드는 것까지 포함합니다.
좋은 RAG는 많은 문서를 가진 RAG가 아닙니다
RAG를 처음 보면 AI가 회사 문서를 검색하는 기술처럼 보입니다.
하지만 실제로 정확도를 높이려면 그보다 더 많은 설계가 필요합니다.
- AI가 찾기 좋은 형태로 지식을 정리하고,
- 누구에게 어떤 조건으로 적용되는 정책인지 구분하고,
- 여러 검색 결과 중 가장 적합한 근거를 다시 고르고,
- 근거가 부족할 때는 답하지 않도록 해야 합니다.
결국 RAG의 성능은 AI가 얼마나 많은 문서를 가지고 있느냐보다, 필요한 순간에 올바른 근거를 얼마나 정확하게 찾아낼 수 있느냐에 달려 있습니다.
상담 AI도 마찬가지입니다.
좋은 상담 AI는 모든 질문에 답하는 AI가 아니라, 어떤 근거로 답해야 하는지 알고 근거가 없을 때는 답하지 않을 줄 아는 AI입니다.
우리 회사 정책을 제대로 아는 AI 상담사를 만들어보세요
고객에게 필요한 건 그럴듯한 답변이 아니라 우리 회사의 실제 정책에 맞는 정확한 답변입니다.
AICX는 회사 문서를 AI에 연결하는 것에서 끝나지 않습니다. 실제 고객 문의를 기준으로 지식을 정리하고, 상황별로 어떤 정책을 우선해서 찾아야 하는지 설계하며, AI가 답할 수 없는 문의는 자연스럽게 상담사에게 연결합니다.
회사 정책을 찾아보고, 근거에 따라 답하고, 필요한 순간에는 사람에게 넘기는 AI 상담.
AICX와 우리 회사에 맞는 상담 구조부터 설계해보세요.