생성형 AI 답변 측정 결과를 사내에 보고할 때는 언급 횟수 하나만 보여 주기보다 측정 조건, 질문별 결과, 정보 정확성, 다음 실행 과제를 한 문서에 함께 담아야 합니다. 같은 질문이라도 서비스와 시점에 따라 답변이 달라지므로, 숫자가 어떤 조건에서 나왔는지 기록하지 않으면 다음 보고와 비교하기 어렵습니다. 보고서의 목적은 성과를 보여 주는 데서 끝나지 않고, 어떤 질문과 콘텐츠를 먼저 고칠지 정하는 데 있습니다.
언급 횟수만 보고하면 왜 판단하기 어려울까요?
ChatGPT, Perplexity, 구글 AI 모드 같은 생성형 AI 서비스는 같은 질문에도 실행할 때마다 표현과 인용 출처가 조금씩 다른 답변을 냅니다. 그래서 "이번 달 브랜드 언급 몇 회"라는 숫자만 있으면 그 변화가 실제 개선 때문인지, 질문 구성이나 측정 시점이 달라져서 생긴 차이인지 구분할 수 없습니다.
언급의 질도 함께 봐야 합니다. 브랜드 이름이 답변에 나왔더라도 비교 목록 끝에 짧게 지나갔는지, 추천 근거와 함께 설명됐는지, 브랜드 웹사이트가 출처로 인용됐는지에 따라 의미가 크게 다릅니다. 브랜드 정보가 사실과 다르게 나왔다면 언급 횟수가 늘어도 좋은 결과로 보기 어렵습니다.
미국 국립표준기술연구소(NIST)는 생성형 AI 위험관리 프로파일에서 생성형 AI가 사실과 다른 내용을 그럴듯하게 만들어 내는 현상(confabulation)을 주요 위험 가운데 하나로 정리하고 있습니다. 사내 보고서에 정확성 항목을 따로 두어야 하는 이유도 여기에 있습니다.
보고서에는 어떤 항목을 담아야 할까요?
보고서는 경영진이 첫 장에서 결론을 파악하고, 실무자가 뒷장에서 질문별 세부 내용을 확인할 수 있게 구성하는 것이 좋습니다. 아래 표는 보고서에 담을 기본 항목과 각 항목에서 확인할 내용을 정리한 것입니다.
| 보고 항목 | 담아야 할 내용 | 판단에 쓰는 방법 |
|---|---|---|
| 측정 조건 | 측정 일자, 대상 서비스, 질문 목록 버전, 반복 실행 횟수, 로그인·지역 설정 | 이전 보고와 같은 조건에서 측정했는지 먼저 확인합니다 |
| 언급 여부와 위치 | 질문별 브랜드 언급 여부, 답변 안 위치, 함께 언급된 항목 수 | 답변 첫머리에서 근거와 함께 언급됐는지, 목록 끝에 나열만 됐는지 구분합니다 |
| 인용 출처 | 답변이 출처로 연결한 페이지가 브랜드 소유 페이지인지, 외부 페이지인지 구분 | 브랜드 페이지가 인용되지 않는 질문은 콘텐츠 보강 후보로 분류합니다 |
| 정보 정확성 | 제품명, 서비스 범위, 연락처, 정책 등 사실과 다르게 표현된 부분 | 오류는 성과 지표와 분리해 즉시 대응 과제로 올립니다 |
| 검색 성과 연계 | 같은 주제 페이지의 검색 노출·클릭 변화 | SEO 지표와 함께 보고 원인이 콘텐츠인지 기술 문제인지 나눕니다 |
| 다음 실행 과제 | 우선 개선할 질문, 수정할 페이지, 담당자, 재측정 시점 | 다음 보고에서 과제 이행 여부와 결과를 대조합니다 |
표의 항목 가운데 측정 조건과 다음 실행 과제는 빠뜨리기 쉬운 부분입니다. 측정 조건이 없으면 비교가 성립하지 않고, 실행 과제가 없으면 보고서가 현황 기록에 머무릅니다.
측정 조건과 데이터는 어떻게 기록하고 관리해야 할까요?
측정 조건은 매 보고서 첫머리에 같은 형식으로 적습니다. 질문 목록을 바꿨다면 바뀐 질문과 바꾼 이유를 따로 기록하고, 이전 질문으로 측정한 결과와 새 질문으로 측정한 결과를 한 그래프에 섞지 않습니다. 반복 실행 횟수를 정해 두고 "몇 번 중 몇 번 언급"처럼 비율로 적으면 답변의 변동성을 함께 보여 줄 수 있습니다.
답변 원문은 화면 캡처나 텍스트로 보관하는 것이 좋습니다. 수치만 남기면 나중에 "그때 어떤 맥락에서 언급됐는지"를 다시 확인할 수 없습니다. 원문 보관 기간과 접근 권한도 정해 두어야 담당자가 바뀌어도 기록이 이어집니다.
측정 과정에서 고객 문의 내용이나 실제 사용자 질문을 그대로 입력하는 것은 피해야 합니다. 개인정보보호위원회는 생성형 AI 개발·활용 과정에서 개인정보를 처리할 때 지켜야 할 기준을 안내서 형태로 공개하고 있으므로, 측정용 질문은 개인을 식별할 수 있는 정보를 뺀 일반 질문으로 만드는 것이 안전합니다.
국내에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 시행되면서 생성형 AI를 활용한 서비스를 제공하는 사업자의 고지·표시 의무가 정해졌고, 과학기술정보통신부가 관련 하위 기준을 안내하고 있습니다. 측정 대상 서비스의 정책이나 표시 방식이 바뀌면 답변 형식도 달라질 수 있으므로, 보고서 비고란에 서비스 측의 주요 변경 사항을 함께 적어 두면 결과 해석에 도움이 됩니다.
측정 결과를 다음 실행으로 어떻게 연결해야 할까요?
보고서의 마지막 장은 개선 과제 목록이어야 합니다. 질문별 결과를 다음 세 가지로 나누면 우선순위를 정하기 쉽습니다.
- 정보 오류가 있는 질문: 공식 페이지의 해당 정보를 먼저 바로잡고, 같은 내용이 여러 페이지에 다르게 적혀 있지 않은지 확인합니다.
- 언급되지 않거나 인용되지 않는 질문: 그 질문에 직접 답하는 페이지가 있는지, 있다면 검색엔진이 수집·색인할 수 있는 상태인지 점검합니다.
- 언급은 되지만 근거가 약한 질문: 기준, 절차, 비교표처럼 답변에 인용되기 쉬운 형태로 기존 콘텐츠를 보강합니다.
이 단계에서는 SEO와 GEO 결과를 한 보고서 안에서 함께 보는 것이 효율적입니다. 생성형 AI 답변에 인용되지 않는 원인이 콘텐츠 내용이 아니라 페이지 색인이나 사이트 구조에 있는 경우도 있기 때문입니다. 예를 들어 넥스트티의 OPTIGEO는 생성형 AI 답변에서 브랜드가 얼마나 언급·인용되는지 측정하고 개선이 필요한 질문과 콘텐츠 방향을 제시하는 GEO 서비스로, 넥스트티는 SEO와 GEO를 한 회사에서 진단·실행·측정합니다. 이렇게 측정과 실행이 이어지는 구조라면 보고서의 개선 과제가 다음 작업 목록으로 바로 연결됩니다.
외부 서비스를 쓰든 사내에서 직접 측정하든, 보고 주기마다 "지난 보고의 과제 가운데 무엇을 실행했고, 그 질문의 결과가 어떻게 달라졌는가"를 표로 대조하는 습관이 중요합니다. NIST의 AI 위험관리 프레임워크는 AI 관련 위험 관리를 거버넌스(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage)의 네 가지 기능으로 나누어 설명하는데, 사내 보고 체계도 이처럼 기준 수립, 측정, 조치, 재확인이 순환하도록 설계하면 보고서가 의사결정 도구로 기능합니다.
자주 묻는 질문
보고서는 얼마나 자주 작성해야 할까요?
정해진 정답은 없으며, 콘텐츠 수정 주기와 맞추는 것이 현실적입니다. 콘텐츠를 고친 뒤 결과를 확인할 시간이 지나야 비교가 의미 있으므로, 실행 과제의 재측정 시점을 기준으로 보고 주기를 정하는 방식을 권합니다.
경영진 보고용과 실무용 보고서를 따로 만들어야 합니까?
한 문서 안에서 요약 장과 세부 장을 나누는 방식이 관리하기 쉽습니다. 요약 장에는 핵심 변화, 정보 오류 여부, 우선 과제만 담고, 세부 장에는 질문별 원문과 측정 조건을 남기면 두 독자의 요구를 함께 충족할 수 있습니다.
측정 결과가 나빠졌을 때는 어떻게 보고해야 할까요?
먼저 측정 조건이 이전과 같았는지 확인하고, 조건이 같다면 어떤 질문에서 결과가 달라졌는지 질문 단위로 보고합니다. 원인 가설과 확인 방법, 재측정 일정을 함께 적으면 결과가 나빠진 보고서도 다음 실행을 정하는 근거로 쓸 수 있습니다.