수박과 아이스크림
한국리서치가 한국인에게 여름 간식을 물은 조사가 있습니다. 두 가지를 따로 물었어요.
여름 하면 떠오르는 간식은? — 수박 60%, 아이스크림 40%.
올여름에 실제로 먹은 것은? — 아이스크림 52%, 수박 46%.
순서가 뒤집힙니다. 머릿속의 여름은 수박이고, 실제로 손이 간 건 아이스크림이었습니다. 조사에서 가장 재미있는 대목은 대개 이런 자리에 있습니다.
우리는 이 조사를 그대로 가상 소비자에게 다시 물어봤습니다. 결과는 이랬습니다.
수박 99.1%. 아이스크림은 4.8%.
실측 60%짜리를 99%로 답하고, 실제 1위였던 아이스크림은 사실상 사라졌습니다. 상징과 실제가 갈라지는 바로 그 지점을, 우리 시뮬레이션은 재현하지 못했습니다.
이게 BizForge의 첫 번째 공개 실패 기록입니다.
왜 이 질문을 붙들게 됐나
시작은 두 가지였습니다.
첫째, 쓰는 분들이 안 믿었습니다
가상 설문 기능의 이탈 지점을 들여다본 적이 있습니다. 사람들이 중간에 나가는 이유가 세 갈래로 나왔는데, 그중 하나가 이거였어요 — 가상이라 못 믿겠다.
당연한 반응입니다. AI가 만든 사람 100명에게 물어본 결과라고 하면, 저라도 한 번은 의심할 겁니다. 그런데 그 의심에 우리가 내놓을 수 있는 답이 "저희 데이터가 좋습니다" 정도였습니다. 그건 답이 아니죠.
둘째, 이 숫자가 정부 제출 서류로 들어갑니다
BizForge 사용자의 상당수가 창업 지원사업 서류를 씁니다. 우리가 "가상 고객 50명 중 34명이 그렇게 답했다"고 보여주면, 그게 사업계획서에서 **자체 조사 결과 68%가…**로 바뀌어 제출될 수 있습니다.
주어가 사라지는 겁니다. 가상이라는 말이 빠지고, 숫자만 남습니다.
이건 사용자를 위험에 빠뜨리는 일입니다. 심사위원이 "그 조사 어떻게 하셨습니까"라고 물으면 답할 수가 없으니까요.
100만에서 100명은 어떻게 뽑히나
먼저 재료부터 말씀드립니다.
BizForge가 쓰는 것은 NVIDIA가 공개한 한국 소비자 페르소나 데이터셋입니다. 100만 명 규모이고, CC BY 4.0 라이선스로 누구나 내려받아 확인할 수 있습니다. 인구 구성은 국가통계포털(KOSIS) 기준에 맞춰 정박시켰습니다.
여기서 아이디어에 맞는 100명을 추립니다. 나이·성별 같은 칸으로 거르는 게 아니라, 라이프스타일 서술을 벡터로 바꿔 의미가 가까운 사람을 찾습니다.
그리고 그 100명 각각에게 질문을 던져 답을 받습니다. 한 명씩입니다. 100명분의 평균을 한 번에 지어내는 게 아니라, 100번을 따로 물어 분포를 만듭니다.
여기까지가 방법입니다. 그런데 방법이 그럴듯하다고 결과가 맞는 건 아닙니다.
믿을 수 있는지 확인하는 방법은 하나뿐입니다
이미 정답이 나와 있는 조사를 다시 풀어보는 것.
통계청·보건복지부·문화체육관광부·한국리서치 같은 곳이 이미 실시한 조사를 가져옵니다. 그 조사의 인구 구성을 그대로 재현한 가상 패널에게 같은 질문을 던지고, 답이 얼마나 비슷한지 봅니다.
몇 가지 규칙을 먼저 정해뒀습니다.
- 실측만 등록합니다. 공표된 수치를 원문 그대로 씁니다
- 실패도 남깁니다. 잘 나온 것만 골라 보여주는 건 검증이 아니라 마케팅입니다
- 문제 있는 사람만 뽑지 않습니다. 그건 답을 보고 문제를 푸는 것이죠
이렇게 12개 조사를 관통해 나온 성적표입니다.
성적표
| 무엇을 봤나 | 결과 | 아무 정보 없이 찍으면 | 판정 |
|---|---|---|---|
| 3지선다 이상에서 1위 맞히기 (20문항) | 16/20 | 3.7 | 뚜렷한 신호 |
| 두 집단 중 어느 쪽이 높은지 (349쌍) | 82% | 50% | 뚜렷한 신호 |
| 5점 척도 평균값 (16문항) | 11/16 우세 | — | 보통 |
| 하위집단별 방향 (52건) | 40/52 | 26 | 보통 |
| 예/아니오 2지선다 1위 (13문항) | 7/13 | 6.5 | 동전 던지기와 구분 안 됨 |
한 줄로 줄이면 이렇습니다.
순위와 방향은 됩니다. 퍼센트는 안 됩니다.
어느 쪽이 더 선호되는가, A안과 B안 중 무엇이 앞서는가는 우연보다 뚜렷하게 잘 맞힙니다. 반면 몇 퍼센트가 그렇게 답하는가는 믿을 수 없고, 예/아니오 문항의 1위는 동전을 던지는 것과 통계적으로 구분되지 않습니다.
마지막 줄이 특히 아프지만, 그게 사실입니다.
어디서 어떻게 틀리는가
성적표보다 중요한 게 실패의 종류입니다.
- 상징과 실제가 갈라지는 지점을 못 잡습니다. 앞의 수박이 그렇습니다
- 안 쓰는 사람이 사라집니다. 가정간편식 조사에서 실제 1위는 "먹지 않음" 25.1%였는데 시뮬레이션은 3.7%로 답했습니다. 신제품 수요를 부풀려 읽게 만드는 방향의 실패라 이용률·채택률 수치는 인용을 금지하고 있습니다
- 중간이 무너지고 양극단으로 쏠립니다. 직장 스트레스 조사에서 양극단이 동시에 과대해지고 중간 선택지가 붕괴했습니다. 1위는 맞혔지만 분포 모양이 다릅니다
- 세대 격차가 평평해집니다. 60세 이상의 "먹지 않음"이 45.1%, 18~39세가 6.8%로 실측 6.6배 차이였는데 시뮬레이션은 3.7% 대 2.4%로 거의 평평하게 답했습니다
- 자기평가에서 방향이 뒤집히기도 합니다. "나이 들수록 체력이 낮다고 느낀다"는 실측 경향(10대 3.83 → 70대 2.80)을 시뮬레이션은 거의 반전시켰습니다(3.19 → 3.51)
- 겪어본 일을 회상할 때는 낙관합니다. 여행 만족도·재방문 의향·추천 의향 세 문항이 전부 실측보다 높게 나왔습니다. 2번과 정반대 방향이라 왜 그런지는 아직 모릅니다
- 예/아니오로 물으면 "예"로 몰립니다. 같은 조사 안에서 4지선다 문항은 완벽하게 재현됐는데, 예/아니오로 재구성한 문항 4개는 1위가 통째로 뒤집혔습니다
그래서 어디까지 쓸 수 있나
쓸 수 있는 것
- A안과 B안 중 어느 쪽이 더 반응이 좋은가 — 상대 비교
- 어떤 문제를 더 아프게 느끼는가 — 순위와 방향
- 실제 고객을 만나러 가기 전에 어디부터 만날지 좁히는 것
- 내가 세운 가설이 흔들리는지 미리 부딪혀보는 것
쓸 수 없는 것
- 몇 퍼센트가 구매 의향이 있다 — 수치 인용
- 예/아니오 중 어느 쪽이 다수인가 — 이진 판정
- 이용률·채택률의 수준값
- 세대 간·집단 간 격차의 크기
- 실제 고객을 만나는 일 자체
마지막 줄이 핵심입니다. 이건 설문을 대체하는 물건이 아닙니다. 실제 사람을 만나러 가기 전에 방향을 좁히는 도구입니다.
왜 이걸 공개하나
못하는 것을 먼저 적는 게 장사에 유리할 리는 없습니다. 그래도 이렇게 하는 이유가 있습니다.
첫째, 이 시장에서 신뢰의 화폐는 검증 공개입니다. 12개 조사의 문항별 대조 수치는 검증 방법론 페이지에 전부 공개해 두었습니다.
둘째, 선을 모르는 도구가 더 위험합니다. 어디까지 맞는지 모르는 채로 쓰면, 언젠가 틀린 자리에서 크게 틀립니다. 그게 정부에 제출한 사업계획서 안이라면 더 그렇고요.
셋째, 실패 기록이 계속 늘어난다는 게 이 방식의 요점입니다. 12개가 끝이 아닙니다.
성적표는 계속 갱신됩니다. 좋아지기만 하지는 않을 겁니다.
창업 지원사업을 준비하고 계시다면 — 이 선 안에서, 지원서에 담을 근거를 만드는 것부터 함께 할 수 있습니다. 무료 지원서 초안 만들어보기