신뢰를 쌓아가는 과정
우리는 완벽한 정확도를 약속하지 않습니다. 대신 신뢰성을 높이기 위해 하는 모든 일 — 해온 것, 하고 있는 것, 그리고 일부러 하지 않는 것 — 을 있는 그대로 기록합니다. 이 페이지는 그 진행 기록이고, 시간이 지나며 계속 갱신됩니다.
지금 검증된 것 — 한눈에
13개 시장 분야에서 저희 자체 발굴 알고리즘의 신호 강도를 보여드립니다 — 이 등급은 저희 내부 측정치이며, 외부 검증과는 별개입니다. 정부 통계·학술 조사와 실제로 대조까지 마친 분야만 체크(✓)로 표시했고, 체크가 없으면 아직 비교할 실측 조사가 없다는 뜻입니다.
고객 발굴 신호가 뚜렷한 분야
기본 신호는 있지만 계속 보완하는 분야
아직 신호가 약해 다른 방식으로 보완하는 분야
왜 이 페이지가 있나요
신뢰를 주장하는 대신, 신뢰를 쌓기 위해 하는 일을 — 실패까지 — 공개합니다.
가상 고객의 신뢰성은 “얼마나 정확한가” 한 문장으로 증명되지 않습니다. 어떤 문항은 실제 조사와 잘 맞고, 어떤 문항은 체계적으로 빗나갑니다. 정직한 답은 그 경계를 드러내는 것이라, 잘 맞는 것과 빗나가는 것을 같은 비중으로 기록합니다.
지금까지 한 일
신뢰성을 높이기 위해 실제로 구축하고 바꾼 것들입니다. 제목을 누르면 자세한 내용이 열립니다.
2026.07공개 조사와 직접 대조하는 검증 체계 구축▸
이미 발표된 실측 조사(학술 논문·정부기관 국가승인통계)를 같은 문항·같은 모집단으로 재현해 시뮬 결과와 맞대보는 백테스트 하네스를 만들고, 한국의 공표 조사 12건(정부기관 국가승인통계 7건 · 학술 논문 4건 · 조사기관 발표 1건, 응답자 249~74,000명)과 대조했습니다. 잘 맞는 문항만 고르지 않고 전부 기록합니다.
2026.07모든 수치에 "기준선" 병기▸
“정확도 91%” 같은 단독 숫자는 의미가 없습니다. 아무 정보 없이 찍는 예측기(동전 던지기·균등분포)가 몇 점인지 항상 나란히 적어, 우리 성적이 그 기준선을 실제로 넘는지 아닌지 스스로 드러나게 했습니다.
2026.07"안 되는 영역"을 유형별로 공개▸
실패를 뭉뚱그리지 않고 서로 다른 메커니즘으로 나눠 기록합니다 — 상징과 실제의 역전을 못 잡는 경우, 경험·의향 비율을 낮게 보는 경향, 예/아니오 문항의 쏠림 등. 원인이 미확정인 것은 미확정이라고 씁니다.
2026.07사전등록 — 발표 전에 예측을 봉인▸
지나간 조사를 맞히는 것은 "모델이 답을 외웠다"는 반론이 남습니다. 그래서 아직 조사가 시작되지 않은 지표를 미리 예측하고, 그 예측을 변경 불가능한 기록(커밋 해시)으로 잠갔습니다. 결과는 좋든 나쁘든 전량 공개하기로 서약했습니다.
2026.07사업계획서 오용을 막는 출처 라벨▸
합성 응답을 “자체 설문조사 결과”처럼 옮겨 적으면 공식 서류에서 허위 근거가 됩니다. 제품이 생성하는 사업계획서에는 “자체 AI 소비자 시뮬레이션(가상 고객 N명) 중 X명” 형식의 출처를 본문과 문서 말미에 강제로 넣도록 바꿨습니다.
2026.07점수를 조작할 수 없는 구조▸
모든 성적표는 그 점수를 낸 시뮬레이션 설정(코드 커밋)에 묶여 기록됩니다. 프롬프트를 바꾸면 옛 점수를 덮어쓰지 못하고 새 기록이 나란히 남아, 점수를 좋게 만지면 그 사실 자체가 이력으로 드러납니다. 특정 벤치마크에 맞춘 튜닝은 금지입니다.
지금 하고 있는 일
아직 끝나지 않았고, 진척과 결과를 계속 여기에 기록합니다.
사전등록 1호 결과 채점
매월 발표되는 고정 지표의 7월호를 조사 시작 전에 예측해 봉인했습니다. 발표(7월 말~8월 초) 후 실측과 대조해 결과를 공개합니다 — 이 첫 채점이 사전등록의 실제 시험입니다.
대조군(카나리아) 내부 검증
설문에 "문제를 가졌다고 판정되지 않은" 합성 응답자 대조군을 함께 돌려, 신호가 진짜인지 프롬프트가 만든 착시인지 가려냅니다. 판정 규칙은 결과를 보기 전에 문서로 봉인했고, 회차마다 결과를 좋든 나쁘든 기록하고 있습니다.
예측 → 실제 결과 대조 축적
제품이 내놓은 예측(계속/피벗/중단 판정)을 시점과 함께 기록해, 실제 창업 결과가 돌아왔을 때 맞았는지 비교할 수 있는 토대를 쌓고 있습니다. 개별 사례 공개는 본인 동의를 전제로 합니다.
일부러 하지 않는 것
하지 않기로 한 것을 밝히는 것도 신뢰의 일부입니다. 아래는 유혹이 있어도 하지 않는 선입니다.
단일 숫자는 대부분 마케팅입니다. 문항 유형별로 강한 곳과 약한 곳을 나눠서만 말합니다.
선별 공개는 검증이 아니라 광고입니다. 실패한 벤치마크도 같은 비중으로 싣습니다.
벤치마크 점수를 올리려 프롬프트를 손대는 것은 금지이며, 손대면 버전 이력에 남습니다.
검증한 도메인은 식음료 소비자 조사뿐입니다. 검증하지 않은 영역까지 검증된 것처럼 보이게 하지 않습니다.
말이 아니라 숫자로 확인하고 싶으신가요? 실제 공표 조사와 대조한 성적표와 실패 사례를 전부 공개합니다.
검증 성적과 방법론 자세히 보기 →