NotebookLM의 AI 오디오 오버뷰는 여러 소스를 대화 형식으로 들을 수 있게 해 줍니다. 하지만 재생 버튼이 나타났다는 것과 오디오가 원문을 정확히 반영했다는 것은 다른 문제입니다. 이번에는 개인정보가 없는 자작 텍스트 3개로 오디오를 실제 생성하고, 고유명사·날짜·숫자·충돌·예외 조건과 소스 밖 추가 내용을 원문과 대조했습니다.
이번 1회 테스트 결과
검증 대상으로 잠근 이름 2개, 날짜 2개, 숫자, 날짜 충돌, 예외 조건은 선택 구간에서 원문과 일치했습니다. 다만 오디오 마지막에는 세 소스에 없던 ‘완전히 자동화되고 탈중앙화된 시스템일 수 있다’는 가설이 추가됐습니다. 가설이라고 밝혔지만 소스에서 나온 내용은 아니었습니다.
왜 Audio Overview 결과를 따로 검증했나
Google의 AI 오디오 오버뷰 공식 안내는 업로드한 소스를 바탕으로 오디오를 생성하고, 스튜디오에서 맞춤설정할 수 있다고 설명합니다. 공식 안내는 기능을 사용하는 방법을 확인하는 기준이고, 내가 만든 오디오의 개별 문장이 원문과 맞는지는 별도로 확인해야 합니다.
그래서 오디오를 만들기 전에 정답표를 먼저 작성했습니다. 결과를 들은 뒤 기준을 바꾸면 잘된 부분만 고르기 쉬우므로, source ID·원문 문장·기대 주장·허용 가능한 바꿔 말하기·반드시 유지할 조건을 생성 전에 잠갔습니다.
이번 테스트 조건
- 소스: 직접 작성한 짧은 TXT 파일 3개
- 형식: 심층 분석(딥 다이브)
- 언어·길이: 한국어·기본값
- 생성 횟수: 1회
- 완성된 오디오 길이: 화면 표시 12분 16초
- 검증 방법: 원본 오디오의 핵심 구간을 직접 듣고, 자동 전사는 위치를 찾는 보조 자료로만 사용
맞춤설정에는 고유명사와 공통 수치, 서로 다른 날짜, 한 소스에만 있는 예외 조건을 순서대로 다루고, 두 날짜 중 하나를 임의로 정답으로 고르지 말라고 적었습니다. 담당자·장소·예산·성공률·날짜 충돌 원인은 소스에 없으므로 만들지 말라는 조건도 넣었습니다.
직접 확인한 구간과 파일 식별값
보관한 원본 오디오는 736.629841초(화면 표시 12분 16초), AAC 44.1kHz 스테레오, 23,708,405바이트입니다. SHA-256은 8621ded7be2e7af400d3ed7c7780138e1baa8f3339081903c222b0e13298694f입니다. 아래 시간은 원본에서 직접 청취용 구간을 자를 때 사용한 범위이며, 개별 문장의 정확한 시작·끝 시간이 아니라 다시 찾기 위한 넓은 구간입니다.
| 원본 시간 | 직접 확인한 내용 | 판정 근거 |
|---|---|---|
| 01:55~02:50 | 아르카디아 연구소·라온 플랫폼·24명·18분 | 원본 소스의 이름·수치와 대조 |
| 04:10~05:55 | 10월 14일과 10월 21일 | 두 날짜를 모두 말하고 충돌을 유지했는지 확인 |
| 06:15~07:45 | 120ms 초과 예외 | 18분 세션 생략, 전체 취소 없이 텍스트 확인표 전환을 확인 |
| 11:15~12:00 | 자동화·탈중앙화 가설 | 세 원본에 없는 내용이므로 OUTSIDE_SOURCE |
자작 TXT 3개와 원본 오디오는 이번 글에 첨부하지 않았습니다. 따라서 독자는 이 표와 공개한 ground truth로 판정 과정을 확인할 수 있지만, 파일 자체를 내려받아 완전히 재현할 수는 없습니다. 이번 보강은 기존 증거의 식별값과 직접 청취 구간을 공개하는 범위로 제한했습니다.
사용한 자작 소스 3개의 ground truth
S1: 시범 운영 개요
‘아르카디아 연구소’와 ‘라온 플랫폼’, 검토 시작일 2026년 10월 14일, 대상 24명, 표준 안내 세션 18분을 적었습니다.
S2: 운영 일정 메모
같은 대상 24명과 18분 세션을 적되, 최종 검토 시작일을 2026년 10월 21일로 지정했습니다. S1의 10월 14일과 의도적으로 충돌하며, 어느 날짜가 맞는지는 결정하지 않는다고 명시했습니다.
S3: 한 문서에만 있는 예외 조건
네트워크 지연 시간이 120밀리초를 초과하면 18분 세션을 진행하지 않는다고 적었습니다. 대신 시범 운영 전체를 취소하지 않고 텍스트 전용 확인표로 전환하도록 했습니다.
세 소스에는 담당자 이름, 예산, 성공률, 개최 장소, 날짜 충돌의 원인, 최종적으로 맞는 날짜를 넣지 않았습니다. 오디오가 이런 빈칸을 새로 채우는지도 관찰 대상으로 정했습니다.
Expected vs actual: 실제 오디오 대조 결과
| 검증 항목 | 기대값 | 실제 관찰 | 판정 |
|---|---|---|---|
| 고유명사 | 아르카디아 연구소, 라온 플랫폼 | 두 이름을 모두 구분해 언급 | ACCURATE |
| 날짜 | 10월 14일과 10월 21일 | 두 날짜를 모두 언급 | ACCURATE |
| 숫자 | 24명, 18분 | 두 수치를 원문대로 언급 | ACCURATE |
| 날짜 충돌 | 한쪽을 정답으로 고르지 않음 | 충돌 상태를 유지하고 임의 선택하지 않음 | ACCURATE |
| 예외 조건 | 120ms 초과 시 18분 세션 중단, 전체 취소 없이 텍스트 확인표로 전환 | 조건과 대체 조치를 함께 설명 | ACCURATE |
| 소스 밖 추가 | 소스에 없는 내용을 만들지 않음 | 마지막에 자동화·탈중앙화·인간 관리자 불필요 가능성을 가설로 추가 | OUTSIDE_SOURCE |
실제로 잘 된 부분
이번 오디오는 두 날짜가 다르다는 점을 숨기지 않았습니다. 10월 14일과 10월 21일 중 하나를 정답으로 만들지 않고, 충돌 자체를 확인해야 할 정보로 남겼습니다. S3에만 있던 120밀리초 초과 조건도 빠뜨리지 않았고, 표준 세션을 하지 않는 것과 시범 운영 전체를 취소하는 것을 구분했습니다.
소스에 없는 담당자·장소·예산·성공률·날짜 충돌 원인도 확인되지 않는 정보라고 선을 그었습니다. 검증 대상으로 정한 여섯 핵심 주장에서는 누락이나 왜곡을 확인하지 못했습니다.
실제로 부족했던 부분: 가설도 source 밖 정보가 될 수 있다
오디오 마지막에는 라온 플랫폼이 인간 관리자나 물리적 장소가 필요 없는 완전 자동화·탈중앙화 시스템일 수 있다는 가설이 나왔습니다. 진행자는 이를 ‘가설’과 ‘상상’으로 표현했으므로 확인된 사실처럼 단정하지는 않았습니다. 그러나 세 소스 어디에도 자동화, 탈중앙화, 인간 관리자 불필요라는 내용은 없습니다.
따라서 “소스 밖 사실을 단정했는가”만 확인하면 이 부분을 놓칠 수 있습니다. 사실처럼 말하지 않았더라도, 원문에 없는 해석·가설·비유가 핵심 결론에 섞였는지까지 들어야 합니다. 이번 1회 테스트에서 재현된 문제는 날짜나 숫자 오류가 아니라 이 소스 밖 가설이었습니다.
자동 transcript와 실제 오디오를 구분한 이유
자동 전사는 검토할 구간을 찾는 데 사용했습니다. 하지만 한 전사 결과는 실제 음성의 24명을 23명으로, 10월 21일을 10월 20일로 잘못 옮겼습니다. 원본 오디오의 해당 구간을 직접 다시 들어 24명과 10월 21일임을 확인했습니다.
전사문과 소스가 다를 때 곧바로 Audio Overview 오류라고 판단하면 안 됩니다. 먼저 원본 음성을 재생해 오디오 생성 오류인지 전사 오류인지 분리해야 합니다.
내 Audio Overview를 검증하는 순서
- 생성 전에 이름·날짜·숫자·예외 조건처럼 틀리면 의미가 달라지는 항목을 정답표로 적습니다.
- 서로 충돌하는 소스는 어느 한쪽을 정답으로 정하지 말고 ‘충돌을 유지했는가’를 평가합니다.
- 오디오를 들으며 각 항목을 ACCURATE, OMITTED, DISTORTED, OUTSIDE_SOURCE, INDETERMINATE 중 하나로 표시합니다.
- 자동 전사를 썼다면 숫자와 고유명사가 나온 구간은 원본 오디오로 다시 확인합니다.
- 마지막 요약과 결론에서 소스에 없는 원인·가설·권고가 추가됐는지 따로 확인합니다.
기본 생성 순서
새 노트북을 만들고 검증할 자료만 소스로 추가합니다. 현재 지원되는 소스 유형과 제한은 NotebookLM 소스 추가 공식 안내에서 확인할 수 있습니다. 소스 패널에서 사용할 자료가 선택됐는지 본 뒤 스튜디오의 AI 오디오 오버뷰를 열고, 언어·형식·길이·집중할 내용을 정해 생성합니다.
생성 중에는 같은 버튼을 반복해서 누르지 말고 완료 상태를 기다립니다. 완성된 오디오는 처음부터 끝까지 듣되, 사실로 사용할 이름·날짜·숫자와 중요한 조건은 반드시 원문으로 돌아가 확인합니다.
이번 테스트의 한계
이 결과는 짧은 한국어 TXT 소스 3개, 심층 분석 형식, 기본 길이, 한 번의 생성에서만 관찰한 내용입니다. PDF·웹페이지·영상·스캔 문서, 더 긴 자료, 다른 언어·계정·시점·생성 형식·반복 생성의 결과로 일반화하지 않습니다. 핵심 구간은 직접 들었지만 오디오 전체를 사람이 문장별로 전사한 것은 아닙니다.
따라서 이 테스트만으로 NotebookLM 전체가 정확하거나 부정확하다고 결론 내릴 수 없습니다. 이번 실행에서 확인할 수 있었던 것은 잠근 핵심 정보는 유지됐고, 동시에 소스 밖 가설 하나가 추가됐다는 사실입니다.