검증 방법론
비즈포지의 AI 합성 소비자(제품 화면의 “가상 고객”) 시뮬레이션이 실제 조사와 얼마나 일치하는지, 공표된 실측 조사와 직접 대조해 측정합니다. 잘 맞는 영역과 틀리는 영역을 같은 비중으로, 실패 사례까지 그대로 공개합니다 — 선별 공개는 검증이 아니라 마케팅이기 때문입니다.
다섯 가지 원칙
벤치마크에는 공표된 수치를 원문 그대로 옮깁니다. 어림·보간은 등록 자체를 무효로 만듭니다.
안 되는 영역의 실패가 곧 신뢰의 근거입니다. 좋은 결과만 고르지 않습니다.
원조사의 모집단(성×연령)을 재현해 추출합니다 — 유리한 표본을 고르지 않습니다.
제품이 제공하는 것도 방향과 순위입니다. 정밀 %는 팔지도, 주장하지도 않습니다.
공표일과 모델 정보를 기록하고, 발표 전에 예측을 봉인하는 사전등록으로 "답을 외웠다"는 가능성을 차단해 갑니다.
집계 성적표 — 되는 것과 안 되는 것
한국의 공표 실측 조사 12건(n=249~74,000, 정부기관 국가승인통계 7건·학술 논문 4건·조사기관 발표 1건)과 같은 문항·같은 모집단 쿼터로 대조. 시뮬 모델 gemini-3.1-flash-lite · 성적 귀속 커밋 3cba3f16 · 62328d61 · 6fe71981 · 435ec46a · ece26aab · 9d4e4ea1 · 2026-07-15 기준. 모든 수치에 "아무 정보 없는 예측기"의 기준선을 병기합니다 — 기준선 없는 정확도 숫자는 이 페이지 어디에도 없습니다.
| 지표 | 관측 | 무정보 기준선 | 판정 |
|---|---|---|---|
| 1위 응답 일치 — 다지선다 (보기 3개 이상, 20문항) | 16 / 20 | 우연 기대 3.7문항 | 기준선 초과 |
| 순서 보존 (실측 격차 5%p 이상 쌍, 18문항 349쌍) | 82% | 무작위 50% | 기준선 초과 |
| 분포 오차(MAE) — 다지선다 | 균등분포 예측기보다 정확 17 / 20 | 균등분포 예측기 | 기준선 초과 |
| 리커트(1~5점) 평균 재현 (16문항) | |Cohen’s d| 중앙값 0.38 (0.05~0.86) | “항상 3점” 예측기보다 정확 11 / 16 | 보통 |
| 하위집단 방향 재현 (52건) | 40 / 52 (성별 27/33 · 연령 12/17 · 혼인 1/2) | 무작위 기대 26건 | 보통 |
| 1위 응답 일치 — 이진(예/아니오, 13문항) | 7 / 13 | 동전 던지기 기대 6.5문항 | 신호 없음 |
| 분포 오차(MAE) — 이진 | 균등분포 예측기보다 정확 5 / 13 | 균등분포 예측기 | 신호 없음 |
정직한 한 줄 요약 — 보기가 완비된 객관식의 순위·방향 재현은 기준선을 뚜렷이 넘는 진짜 신호입니다. 리커트 평균은 무정보 예측보다 조금 나은 수준이고, 예/아니오 문항의 1위 맞히기는 동전 던지기와 구분되지 않습니다.
대조한 실측 조사 12건
원문을 직접 확인한 공표 조사만 등록합니다(정부기관 국가승인통계·오픈액세스 학술지·조사기관 발표). 각 벤치마크의 실패를 결과와 함께 적습니다.
복수선택 문항 순위상관 ρ=0.91·1위 일치. 실패: "상징(수박)↔실제(아이스크림)" 역전 구조 재현 못 함 — 통념 1위 과대(99.1% vs 실측 60%), 실제 1위 붕괴(7.7% vs 40%). 자유회상에서 질문 제약 이탈(비여름간식 혼입) 다수.
인지도·구매요인 순위 재현(ρ 0.55~0.71, 1위 "맛" 일치). 실패: 섭취경험·소비의향 수준값 과소(실측 65~77% vs 시뮬 35~46%) — 단 원인 미분리(모델 과소평가 vs 자발참여 표본의 상향 편향).
구매경험·구매빈도 ρ=1. 실패: 구매장소 1위 불일치(실측 대형마트 vs 시뮬 온라인몰), 소수 옵션 0% 붕괴(예: "여행용" 0% vs 실측 18.3%).
섭취경험 분포 오차 1.5%p(최고 정확). 같은 조사의 용어 인지도는 15.6%p 과소 — 좋은 문항만 골라 말하지 않는다. 지속의향의 성별 격차는 방향까지 뒤집힘.
4지선다 선호 ρ=1·분포 오차 5.6%p, 리커트 8문항 성별 유의차 7/8 재현. 실패: 완전한 보기 없이 예/아니오로 재구성한 4문항 전부 1위 역전 — 이 발견으로 "이진 재구성 등록 금지" 규칙 제정.
벤치마크 7호. 건강·체력 자기평가 리커트 2문항 모두 실측보다 낮게(Cohen’s d −0.24~−0.27) — 여행조사의 낙관 편향과 달리 다시 과소추정 방향. 실패: 연령대별 체력인식 하위집단에서 "나이 들수록 체력이 낮다고 느낀다"는 뚜렷한 실측 격차(10대 3.83 vs 70세 이상 2.80)를 시뮬이 거의 반전(3.19 vs 3.51)시킴 — 성별 하위집단도 1건 방향 실패.
벤치마크 8호. 이용시설(6지선다) ρ=0.943·top1 일치로 이번 배치 중 가장 강함. 참여 종목(10지선다)은 ρ=0.511로 중간 수준. 하위집단 방향 3건 전부 재현(성별) — 단 시뮬이 "걷기" 참여율을 전반적으로 과대평가하는 수준 차이 동반.
벤치마크 9호 — 세 번째 정부기관 출처. 응답자는 학부모(자녀 대신 응답). 일반교과 사교육 목적(6지선다) ρ=0.886로 강함. 예체능 사교육 목적(6지선다)은 ρ=0.6로 중간. 응답자 자신의 인구통계가 원문에 미공표돼 하위집단 비교는 등록하지 않음(정직 기록).
벤치마크 12호 — 네 번째 정부기관 출처. 외래/입원/미이용 3지선다에서 순위상관 ρ=1.0·1위 일치, 하위집단 방향 2/2 재현(여성>남성·60대 이상>10대). 다만 수준값은 어긋난다 — 분포 오차 7.6%p로, 외래 이용을 85.6% → 77.2%로 낮추고 "전혀 없음"을 13.6% → 22.8%로 부풀렸다. 순위는 맞고 비율은 틀린 전형이라 ρ만 인용하면 안 된다.
벤치마크 13호. 외래서비스 전반 만족도 리커트에서 Cohen’s d 0.05 — 등록된 전체 리커트 문항 중 실측 평균과의 편차가 가장 작다. 하위집단 방향 2/2 재현(여성>남성·60대 이상>10대). 리커트가 대체로 약한 지표인 가운데 나온 예외 사례.
가정생활 스트레스는 ρ=0.8·1위 일치·분포 오차 5.2%p로 양호. 실패: 일상생활 스트레스에서 1위 역전 — 실측은 "느끼지 않은 편임"(51.7%)이 1위인데 시뮬은 "느끼는 편임"(52.8%)을 1위로 답했고, "매우 많이 느낌"을 3.6% → 18.0%로 5배 과대. 직장생활 문항에서는 양극단(매우 많이 12.1→29.2 / 전혀 7.4→18.6)으로 몰리고 중간 선택지가 붕괴(30.5→11.4). 하위집단 방향 3/4 재현.
실패 사례. 8지선다 구입 빈도에서 1위 역전 — 실측 1위는 "먹지 않음"(25.1%)인데 시뮬은 이를 3.7%로 붕괴시키고 "2주일에 1회"를 1위로 답했다. 순위상관 ρ=0.429·순서 보존 68%로 이번 배치 중 가장 약함. 하위집단 방향은 3/3 "재현"이나 격차가 사실상 소멸 — 실측은 60세 이상의 "먹지 않음"이 45.1%로 18~39세(6.8%)의 6.6배인데, 시뮬은 3.7% vs 2.4%로 거의 평평해졌다. 방향만 맞고 크기는 못 맞춘 전형.
실패 유형 지도
실패는 하나의 원인이 아닙니다 — 서로 다른 메커니즘을 구분해 기록하고, 원인이 미확정인 것은 미확정이라고 씁니다.
"대표적인 것"과 "실제로 쓰는 것"이 다를 때, 시뮬은 통념 쪽으로 쏠린다. 자유회상형 문항에서 분포 왜곡 동반.
"~해본 적 있다" 비율을 낮게 추정하는 경향(6/6 문항 같은 방향). 단 대조한 조사 4/5가 자발참여 표본이라 실측이 부풀었을 가능성(표집 편향)이 경쟁가설로 남아 있어 원인 미확정.
보기 목록 없이 예/아니오로 물으면 "예"로 쏠린다. 완전한 보기를 준 같은 조사의 문항은 정확히 재현 — 등록 방식이 유발한 아티팩트로 판단해 해당 등록 방식을 금지.
벤치마크 원조사 다수가 편의·눈덩이 표본 — "실측"으로 삼은 값 자체가 모집단보다 높을 수 있음. 확률표집 조사로 재확인 전까지 침투율 실패의 원인을 모델로 단정하지 않는다.
"나이 들수록 체력이 낮다고 느낀다"는 뚜렷한 실측 경향(10대 3.83점 vs 70세 이상 2.80점, 5점 만점)을 시뮬은 거의 반전시켜 재현하지 못함(3.19 vs 3.51). 전체 평균은 기준선보다 낫지만, 하위집단 패턴은 별개로 실패할 수 있다는 사례.
"먹지 않음"·"이용 안 함" 같은 미채택 선택지를 시뮬이 거의 고르지 않는다. 간편식 구입 빈도에서 실측 1위였던 "먹지 않음"(25.1%)이 시뮬에선 3.7%로 무너져 1위가 뒤집혔다. 신규 제품의 수요를 부풀려 읽게 만드는 방향의 실패라, 채택률·이용률 수준값을 그대로 인용하지 말 것.
4점 척도에서 시뮬이 양극단으로 몰린다. 직장생활 스트레스 문항에서 "매우 많이 느낌"(12.1→29.2)과 "전혀 느끼지 않음"(7.4→18.6)이 동시에 과대해지고, 중간인 "느끼지 않은 편임"(30.5→11.4)이 붕괴했다. 1위는 맞혔지만 분포 모양이 다른 사례 — 순위만 보고 분포를 신뢰하면 안 되는 이유.
이 실패들은 우리만의 문제가 아닙니다 — 합성 응답 연구가 부르는 이름과 우리의 완화 장치
평균은 그럴듯한데 응답의 다양성이 실제보다 좁아지는 현상.
위 "중간 선택지 붕괴"·"하위집단 격차 소멸"이 이 유형. 완화: 집계를 LLM 추정이 아닌 개별 페르소나 응답의 실제 카운트로 산출하고, 일렬응답(straightlining) 감지를 QA 지표로 상시 기록.
"좋게 보이는" 답으로 쏠리는 경향 — 의향·채택 질문에서 낙관으로 나타남.
위 "안 쓰는 사람의 붕괴"가 이 유형. 완화: 의향-행동 갭 보수 해석 규칙, 의향 문항을 현재 대안과의 강제 선택형으로 생성, 실측 앵커 상시 대조(카나리아).
기반 데이터가 특정 집단·문화에 치우쳐 모집단을 고르게 대표하지 못함.
코퍼스 고령 쏠림(평균 50.7세)·"학생" 라벨 부재·지역 가중 미적용을 그대로 공개하고, 분야별 검증 현황 표로 "검증된 곳/아닌 곳"을 구분.
기반 모델이 업데이트되면 같은 질문의 결과가 달라질 수 있음.
모든 성적표를 시뮬 프롬프트의 git 커밋·모델 버전에 귀속 — 바뀌면 옛 성적을 덮지 않고 새 라인이 병렬로 남는다.
사전등록 — 발표 전에 예측을 고정
지나간 조사를 맞히는 것은 '모델이 답을 외웠다'는 반론이 남습니다. 그래서 아직 발표되지 않은 조사를 미리 예측하고, 그 예측을 변경 불가능한 기록으로 봉인합니다.
- · 매월 발표되는 고정 6문항 트래커 — 2026-07-10, 7월호 조사 시작 전에 시뮬 예측을 git 커밋
30140a38으로 봉인 (예측 파일 SHA-256 을 커밋 메시지에 기록). - · 서약: 발표 후 결과는 좋든 나쁘든 전량 공개. 발표 전까지 시뮬 프롬프트 동결(위반 시 사전등록 무효 선언).
- · 참고: 합성 패널은 시사·경기 뉴스를 모르는 정적 데이터라, 시점에 따라 움직이는 이 지표는 어려운 시험입니다 — 그 한계까지 미리 적어 둡니다.
분야별 검증 현황과 알려진 한계
분야마다 검증 증거의 양과 제품 성능이 다릅니다 — 잘 되는 분야와 약한 분야를 같은 표에 공개합니다. 실측 대조는 공개 조사 결과만 집계하고, 고객 발굴 등급은 자체 내부 측정의 정성 요약입니다(수치 단독 인용 금지 원칙에 따라 등급만 표기).
| 분야 | 실측 대조 (공개 조사) | 고객 발굴 |
|---|---|---|
| 여행·레저 | 공개 실측 대조 아직 없음국민여행조사로 대조했으나 2026-07-13 라이선스 재검토로 internal_only 전환(공공누리 4유형·상업적 이용금지) — 공개 표면 제외, 대체 출처 탐색 필요 | 신호 강함 |
| 뷰티 | 공개 실측 대조 아직 없음 | 신호 강함 |
| 육아·키즈 | 공개 실측 대조 아직 없음 | 신호 강함 |
| 금융 | 공개 실측 대조 아직 없음 | 신호 강함 |
| IT·B2B 솔루션 | 공개 실측 대조 아직 없음 | 신호 강함 |
| 헬스·웰니스 | 국가승인통계 3건 — 시설 ρ=0.943 강함 / 연령별 자기평가 반전 실패 · 스트레스 정도는 양극단 쏠림으로 1위 역전 | 보통 |
| 의료·헬스케어 | 국가승인통계 2건 — 이용률 ρ=1.0·만족도 편차 최소 (전체 최상급)발굴은 인구통계 조건만으로 충분한 분야 | 보통 |
| 리테일·커머스 | 공개 실측 대조 아직 없음 | 보통 |
| 반려동물 | 공개 실측 대조 아직 없음 | 보통 |
| 식음료·외식 | 공개 조사 6건(최다) — 순위 재현 강함 / 침투율 수준값 과소·상징↔실제 역전 실패·"먹지 않음" 붕괴로 1위 역전(간편식)레인 3종·질의 6종 재검토 확정(3회 독립 측정 평균 ~Δ10%p, 일관되게 문턱 미달) | 키워드 방식 |
| 교육 | 국가승인통계 1건 — 사교육 목적 ρ=0.886 (응답자=학부모)경계선 — 3회 측정 평균 Δ~14%p(문턱 15%p 바로 아래)이나 회차별 변동 큼(대조군 표본이 좁은 문제로 불안정), 추가 신호 확보 시 재평가 여지 | 키워드 방식 |
| 패션·잡화 | 공개 실측 대조 아직 없음 | 키워드 방식 |
| 시니어·돌봄 | 공개 실측 대조 아직 없음자녀 관점 돌봄 문제는 현재 가장 약한 분야 — 선제 고지 | 키워드 방식 |
"키워드 방식" = 이 분야는 의미 검색(임베딩)의 변별력이 자체 기준에 못 미쳐, 키워드·인구통계 조건 방식으로 동작합니다. 시니어·돌봄(자녀 관점)과 패션·잡화가 현재 가장 약한 분야입니다 — 약한 분야를 숨기지 않는 것이 이 페이지의 원칙입니다.
아직 검증되지 않은 것 — 표의 "공개 실측 대조 아직 없음" 분야는 시뮬 결과의 실측 재현이 확인되지 않은 상태입니다. 브랜드 인지·상기 유형은 자체 검증 전이며, 외부 실증(마크로밀 엠브레인 2026-06 파일럿)이 "안 되는 영역"으로 보고한 바 있습니다.
합성 패널의 알려진 편향 — 코퍼스 평균 연령 50.7세(고령 쏠림) · "학생" 직업 라벨 부재 · 지역 가중 미적용. 전부 결과 파일에 한계로 함께 기록됩니다.
기준값의 한계 — 대조한 학술 조사 다수가 편의·자발참여 표본이라, "실측"이 모집단보다 높게 잡혔을 가능성도 함께 검토합니다(실패 유형 지도 참조).
올바른 인용법
이 페이지의 수치를 인용할 때도, 제품 안의 시뮬 결과를 문서에 쓸 때도 같은 규칙입니다.
- · "완비된 보기의 선호·속성 문항에서 실측 조사 대비 1위 일치 16/20, 순서 보존 82% (한국 공표 조사 12건, n=249~74,000 대조 — 우연 기대는 각각 3.7문항·50%)"
- · "자체 AI 소비자 시뮬레이션(가상 고객 100명) 중 73명이 이 문제를 겪는다고 답했다"
- · "정확도 91%" (지표·유형·기준선 없는 단독 수치)
- · "소비자의 73%가 구매 의향" (합성 응답을 시장 실측처럼 — 출처 위장)
- · "자체 설문조사 결과…" (실태조사 위장 — 공식 서류에서 허위 근거)
구매자가 물어야 할 질문들
ESOMAR의 ‘AI 기반 리서치 서비스 구매자를 위한 질문’ 취지를 따른 자체 공개 문답입니다.
합성 소비자는 어디서 왔나요?
NVIDIA Nemotron-Personas-Korea(CC-BY-4.0) 합성 페르소나 100만 명 — 한국 인구 분포를 참조해 생성된 공개 데이터셋입니다. 실제 개인의 데이터가 아닙니다. 제품 화면에서는 이해하기 쉽게 "가상 고객"으로 표기합니다.
응답자는 실제 사람인가요?
아니요. 전원 AI 시뮬레이션이며, 제품의 모든 결과 화면과 문서에 🎭 고지가 강제됩니다.
어떻게 검증하나요?
이미 공표된 실측 조사(학술 논문·조사기관 발표)를 같은 문항·같은 모집단 쿼터로 재현하는 백테스트, 그리고 발표 전에 예측을 고정하는 사전등록을 씁니다. 실패도 전량 공개합니다.
얼마나 정확한가요?
단일 숫자로 답하지 않습니다(그런 숫자는 대부분 마케팅입니다). 위 성적표처럼 문항 유형별로 다릅니다 — 순위·방향은 강하고, 수준값(침투율)과 이진 문항은 약합니다.
무엇을 못 하나요?
정밀 % 시장 예측, "~해본 사람 비율" 같은 수준값, 시점에 따라 변하는 지표 추적, 그리고 검증하지 않은 도메인 전반입니다.
왜 정확한 %가 아니라 경향(밴드)으로 주나요?
실측 조사도 그렇게 읽는 것이 업계 규범이기 때문입니다. 표본 이론상 400~500명 조사도 ±5%p 안팎의 오차를 가지며, 국내 대표 패널조사사의 리서치 가이드도 마케팅 조사는 신뢰수준 80~90%를 허용하고 "수치보다 경향성"을 보라고 안내합니다. 합성 시뮬레이션은 여기에 모델 불확실성이 더해지므로, 정밀 %가 아닌 경향 밴드가 정직한 표현 단위입니다.
모델이 답을 외웠을 가능성(학습 오염)은요?
모든 벤치마크에 공표일과 모델 정보를 기록하고, 상위 증거로 발표·조사 시작 전에 예측을 커밋 해시로 봉인하는 사전등록을 운영합니다(1호 진행 중).
점수를 좋게 만들려고 조정하지 않나요?
성적표는 시뮬 프롬프트의 git 커밋에 귀속됩니다. 프롬프트를 바꾸면 옛 성적을 덮어쓰지 못하고 새 라인이 병렬로 남아, 조정하면 그 사실 자체가 드러납니다. 특정 벤치마크에 맞춘 튜닝은 금지입니다.
합성 패널의 알려진 편향은요?
코퍼스 평균 연령이 50.7세로 고령 쏠림이 있고, "학생" 직업 라벨이 없으며, 지역 가중은 미적용입니다 — 전부 결과 파일에 한계로 기록됩니다.
내 데이터가 검증에 쓰이나요?
벤치마크는 공개 조사만 씁니다. 사용자의 예측·결과 대조(진행 예정)는 본인 동의 없이 개별 공개되지 않습니다.
이 결과를 정부 지원사업 서류에 써도 되나요?
실태조사·설문조사 결과로 인용하면 안 됩니다(허위 근거). 반드시 "자체 AI 소비자 시뮬레이션(가상 고객 N명) 중 X명" 형식으로 출처를 밝혀 주세요 — 제품이 생성하는 문서에도 같은 규칙이 적용됩니다.