AI에게 질문하면 설명과 표, 참고 링크까지 갖춘 답변을 받을 수 있습니다. 문장이 자연스럽고 출처까지 붙어 있으면 그대로 사용해도 될 것처럼 느껴집니다.
하지만 설명이 그럴듯하다는 것과 내용이 확인됐다는 것은 다릅니다.
미국 국립표준기술연구소(NIST)는 생성형 AI가 잘못된 내용을 자신 있게 제시하는 현상을 주요 위험으로 설명합니다. 답변을 뒷받침하는 것처럼 보이는 논리나 인용도 만들어질 수 있다고 지적합니다. NIST 생성형 AI 위험관리 문서, 2.2절
그렇다고 AI 답변을 모두 버릴 필요는 없습니다. 중요한 것은 답변을 확인 가능한 주장으로 나누고, 원문과 계산을 통해 검토하는 과정입니다.
이 글에서는 블로그 원고와 업무 자료에 적용할 수 있는 검증 순서를 소개합니다. 아래 계산과 문서 사례는 방법을 설명하기 위한 가상 예시입니다.
1. 답변 전체가 아니라 ‘확인할 주장’을 뽑기
긴 답변을 처음부터 끝까지 다시 읽는 것만으로는 오류를 찾기 어렵습니다. 먼저 사실 확인이 필요한 문장을 골라보세요.
우선 확인할 대상은 다음과 같습니다.
- 금액, 비율, 인원 등 숫자가 들어간 문장
- 시작일, 마감일, 시행일이 들어간 문장
- 가입 조건이나 이용 제한을 설명하는 문장
- 특정 기관이나 연구 결과를 인용한 문장
- ‘모두’, ‘항상’, ‘무조건’처럼 예외가 없다고 표현한 문장
예를 들어 AI가 다음과 같이 답했다고 가정하겠습니다.
A 서비스는 모든 이용자에게 무료이며, 파일을 무제한 저장할 수 있습니다.
이 문장에는 최소 두 가지 확인 대상이 있습니다.
- 모든 이용자가 무료로 사용할 수 있는가?
- 저장할 수 있는 파일의 개수나 용량에 제한이 없는가?
무료 이용이 가능하더라도 저장 공간이나 일부 기능에 제한이 있을 수 있습니다. 따라서 한 문장을 통째로 맞다고 판단하지 말고 조건별로 나누어 확인해야 합니다.
2. 링크가 열리는지보다 원문이 주장을 뒷받침하는지 보기
출처 검증에는 두 단계가 있습니다.
첫째는 해당 자료가 실제로 존재하는지 확인하는 것입니다. 둘째는 그 자료에 답변의 근거가 실제로 있는지 확인하는 것입니다.
자료가 실제로 존재하는지 확인하기
링크를 눌러 다음 내용을 살펴보세요.
- 제목과 발행 기관이 답변에 적힌 내용과 같은가?
- 문서가 아니라 기관 홈페이지로만 연결되지는 않는가?
- 원문 대신 검색 결과나 요약 페이지가 열리지는 않는가?
- 존재하지 않는 페이지로 연결되지는 않는가?
링크가 열리지 않는다고 즉시 가짜라고 단정할 필요는 없습니다. 주소가 바뀌었을 수도 있으므로 해당 기관의 사이트에서 문서 제목을 검색해보세요.
다만 원문을 찾지 못한 상태를 ‘검증 완료’로 처리해서는 안 됩니다.
근거가 실제로 있는지 확인하기
문서를 찾았다면 답변에 나온 숫자나 핵심 표현을 검색합니다.
이때 검색된 문장만 보지 말고 앞뒤 설명, 표의 제목, 각주까지 읽어야 합니다.
예를 들어 원문에는 다음처럼 적혀 있을 수 있습니다.
시범 운영에 참여한 일부 팀에서 문서 작성 시간이 감소했다.
그런데 AI가 이를 다음처럼 요약했다면 적용 범위가 달라집니다.
AI를 사용하면 모든 직장인의 업무 시간이 줄어든다.
일부 참여자의 결과가 전체 직장인에게 적용되는 결론으로 바뀐 것입니다. 출처가 실제로 존재해도 요약이 과장될 수 있다는 점을 확인해야 합니다.
3. 발표일·대상 기간·적용일을 구분하기
자료가 최근에 게시됐다고 그 안의 수치까지 최근 상황을 설명하는 것은 아닙니다.
다음 세 가지 날짜를 구분해보세요.
| 날짜 종류 | 뜻 | 확인할 내용 |
|---|---|---|
| 발표일 | 자료가 공개된 날짜 | 언제 발표됐는가? |
| 대상 기간 | 통계나 조사에서 다룬 기간 | 어느 시기의 상황인가? |
| 적용일 | 변경 사항이 실제 적용되는 날짜 | 지금 적용되고 있는가? |
가령 올해 발표된 보고서가 지난해 이용자를 조사한 결과일 수 있습니다. 서비스 변경 공지는 오늘 올라왔지만 다음 달부터 적용될 수도 있습니다.
따라서 다음처럼 날짜의 의미를 함께 적는 편이 명확합니다.
올해 발표된 보고서이지만, 조사 대상은 지난해 이용자입니다.
또는 다음과 같이 구분할 수 있습니다.
변경 내용은 공지됐으며, 실제 적용 예정일은 다음 달입니다.
AI에게 ‘최신 정보로 알려줘’라고 요청하는 것만으로 이 구분이 끝나는 것은 아닙니다. 중요한 일정은 원문에서 직접 확인하세요.
4. 숫자는 원자료와 계산을 따로 확인하기
숫자 검증은 다음 두 가지 질문으로 나눕니다.
- 계산에 사용한 원래 숫자가 맞는가?
- 그 숫자로 계산한 결과가 맞는가?
공식이 맞더라도 잘못된 입력값을 사용하면 결과가 틀립니다. 반대로 원자료가 정확해도 단위나 분모를 잘못 적용할 수 있습니다.
예시 1: 8%에서 10%로 증가한 경우
가상의 전환율이 8%에서 10%로 올랐다고 가정하겠습니다.
두 비율의 차이는 다음과 같습니다.
10% - 8% = 2%포인트기존 8%를 기준으로 한 상대적인 증가율은 다음과 같습니다.
(10 - 8) ÷ 8 × 100 = 25%따라서 다음 두 표현은 서로 다른 계산을 설명합니다.
- 전환율이 2%포인트 상승했다.
- 전환율이 기존 대비 25% 증가했다.
이를 단순히 ‘2% 증가’라고 적으면 의미가 모호해집니다. AI가 만든 표에서도 퍼센트와 퍼센트포인트를 구분하세요.
예시 2: 50분 걸리던 일이 35분으로 줄어든 경우
절약한 시간 = 50분 - 35분 = 15분
시간 감소율 = 15 ÷ 50 × 100 = 30%이 사례에서 확인할 수 있는 것은 해당 작업의 소요 시간이 30% 감소했다는 것입니다.
이 숫자만으로 하루 전체 생산성이 30% 높아졌다고 결론 내릴 수는 없습니다. 검토 시간, 오류 수정, 다른 업무에 걸리는 시간은 별도로 확인해야 하기 때문입니다.
계산 전에 확인할 항목
- 원, 만 원, 억 원 중 어떤 단위인가?
- 월간 수치인가, 연간 수치인가?
- 전체 인원인가, 응답자 수인가?
- 합계인가, 평균인가?
- 비율 계산의 기준이 되는 분모는 무엇인가?
- 반올림 전후 수치를 섞어 계산하지 않았는가?
가능하면 계산기나 스프레드시트로 다시 계산하고, 입력값과 계산식을 함께 남기세요.
5. 여러 답변이 같아도 출처가 독립적인지 확인하기
같은 질문을 여러 AI에 물었는데 답이 비슷하면 신뢰가 높아질 수 있습니다. 하지만 답변이 같다는 사실만으로 원문 검증을 대신할 수는 없습니다.
여러 답변이나 웹페이지가 같은 자료를 반복 인용했을 가능성을 확인해야 합니다.
예를 들어 다음과 같은 구조라면 세 개의 독립적인 근거가 아닙니다.
원래 보도자료
→ 이를 요약한 기사
→ 기사를 다시 요약한 블로그교차 확인할 때는 ‘몇 곳에서 같은 말을 했는가?’뿐 아니라 **각 정보가 어디에서 시작됐는가?**를 살펴보세요.
주장에 맞는 원자료도 다릅니다.
- 서비스 기능: 해당 서비스의 공식 도움말과 이용 조건
- 제품 사양: 제조사의 사양서와 지원 문서
- 기업 실적: 해당 기간의 공시와 실적 자료
- 연구 결과: 논문 원문과 연구 방법
- 업무 수치: 원본 집계표와 계산 기준
공식 자료도 자신의 조건에 그대로 적용되는지는 별도로 확인해야 합니다. 다른 국가, 요금제, 제품 모델에 관한 설명일 수 있습니다.
6. AI에게는 ‘확신’보다 ‘검증 가능한 근거’를 요청하기
“이거 확실해?”라고 다시 물으면 답변이 더 단정적으로 바뀔 수 있지만, 그것이 새로운 근거가 생겼다는 뜻은 아닙니다.
다음처럼 확인할 항목을 구체적으로 요청해보세요.
아래 답변에서 사실 확인이 필요한 주장을 분리해줘.
각 주장마다 다음 항목을 작성해줘.
1. 확인할 주장
2. 근거가 되는 원문 문서의 제목과 발행 기관
3. 직접 연결되는 URL
4. 근거가 있는 절·표·페이지 또는 짧은 원문
5. 발표일과 정보의 대상 기간
6. 적용 조건과 예외
7. 확인하지 못한 부분
직접 열어 확인한 자료와 확인하지 못한 자료를 구분해줘.
원문을 확인할 수 없으면 ‘미확인’으로 표시하고,
없는 링크나 인용문을 만들지 마.이 요청문은 검토할 구조를 만드는 데 활용할 수 있습니다. 다만 AI가 ‘확인했다’고 적었다는 이유만으로 검증이 끝나는 것은 아닙니다. 핵심 근거는 직접 열어 대조해야 합니다.
자료를 직접 제공한 경우
외부 검색 대신 자신이 가진 공개 자료를 요약시키는 경우에는 다음처럼 범위를 제한할 수 있습니다.
아래 자료에 포함된 내용만 사용해 요약해줘.
- 원문에 없는 숫자나 원인을 추가하지 마.
- 확정된 사실과 추정·계획을 구분해줘.
- 표의 단위와 각주를 유지해줘.
- 근거를 찾지 못한 질문은 ‘자료에서 확인되지 않음’으로 표시해줘.회사 기밀이나 개인정보가 포함된 자료는 조직에서 허용한 처리 환경인지 먼저 확인해야 합니다.
7. 검증 결과는 확인·수정·보류로 나누기
모든 문장을 맞거나 틀린 것으로 즉시 분류할 필요는 없습니다. 근거가 부족한 내용은 보류할 수 있어야 합니다.
| 상태 | 판단 기준 | 처리 방법 |
|---|---|---|
| 확인 | 원문과 조건, 계산이 일치함 | 적용 범위와 출처를 함께 표기 |
| 수정 | 핵심은 맞지만 날짜·조건·표현이 다름 | 원문에 맞게 고친 뒤 사용 |
| 보류 | 원문을 찾지 못했거나 결론이 불분명함 | 단정적으로 쓰지 않고 추가 확인 |
예를 들어 ‘모든 이용자에게 무료’라는 문장에서 무료 요금제의 존재만 확인했다면 다음처럼 바꿀 수 있습니다.
무료 요금제가 제공되지만, 이용 가능한 기능과 사용 한도는 요금제별로 확인해야 합니다.
반대로 무료 여부 자체를 확인하지 못했다면 표현을 조금 약하게 바꾸는 것만으로 해결하지 말고 게시를 보류하는 편이 낫습니다.
검증 기록은 간단해도 됩니다.
확인할 주장:
원문 제목과 URL:
근거 위치:
대상 기간:
적용 조건:
계산식:
판정: 확인 / 수정 / 보류
최종 문장:8. 제출하거나 게시하기 전 확인할 체크리스트
- 중요한 숫자의 원자료를 확인했는가?
- 링크를 직접 열어 근거 문장을 찾았는가?
- 발표일과 대상 기간을 구분했는가?
- 적용 대상과 예외 조건이 빠지지 않았는가?
- 표의 단위와 각주를 확인했는가?
- 핵심 계산을 별도로 검산했는가?
- 일부 사례를 전체에 적용하지 않았는가?
- 확인하지 못한 내용을 사실처럼 적지 않았는가?
모든 내용에 같은 수준의 검증이 필요한 것은 아닙니다. 아이디어나 표현을 다듬는 작업과 실제 비용·일정·권리 등에 영향을 주는 판단은 구분해야 합니다. 영향이 큰 내용일수록 원자료 확인과 담당자 검토에 더 많은 비중을 두세요.
자주 묻는 질문
출처가 없는 답변은 모두 틀린가요?
아닙니다. 출처가 없다는 이유만으로 틀렸다고 단정할 수는 없습니다. 다만 확인이 필요한 사실을 업무나 공개 글에 사용하려면 별도의 근거를 찾아야 합니다.
공식 사이트 링크만 있으면 믿어도 되나요?
링크가 연결되는 페이지에 실제 근거가 있는지 확인해야 합니다. 기관 홈페이지나 다른 제품의 안내 페이지는 해당 주장을 뒷받침하지 못할 수 있습니다.
AI가 스스로 오류를 수정했으면 끝인가요?
수정된 답변도 다시 확인해야 합니다. 정정했다는 사실과 정정 내용이 정확하다는 것은 별개입니다.
검증에 시간이 많이 들면 AI를 쓰는 의미가 없지 않나요?
효과는 업무마다 다릅니다. 초안 작성뿐 아니라 검토와 수정까지 포함한 전체 시간을 기준으로 판단하세요. 검증 부담이 큰 업무라면 AI의 역할을 사실 결정이 아닌 자료 정리나 문장 편집으로 제한할 수 있습니다.
정리
AI 답변을 검증할 때는 문장이 얼마나 자신 있게 쓰였는지보다 원문에서 확인할 수 있는지, 조건이 일치하는지, 계산을 다시 할 수 있는지가 중요합니다.
먼저 답변에서 중요한 주장 세 개를 골라보세요. 각 주장에 대해 원문, 날짜, 적용 조건을 확인하고 숫자는 별도로 계산해보면 됩니다.
AI를 잘 활용한다는 것은 모든 답변을 믿거나 의심하는 것이 아니라, 확인한 내용과 아직 확인하지 못한 내용을 구분해 사용하는 것입니다.