83億件規模のペルソナ記録からユーザーを抽出して製品を試す：MatrAIxが示したシミュレーション評価の実力と落とし穴

「なんでこのアプリ、こんなに使いにくいんだ」とスマホを投げたくなった経験は、たぶん誰にでもある。画面のどこを押せばいいのか分からない。AIアシスタントに何度説明しても的外れな答えしか返ってこない。

だがそれは、あなたが機械音痴だからではないかもしれない。その製品が、あなたのような人を想定してテストされていなかっただけかもしれない。HarvardとMITの研究者を中心とするチームが2026年8月に公開した論文『MatrAIx: Simulating the World with 8.3 Billion Persona Agents』（arXiv:2608.04205）は、まさにそのボトルネックに、83億件規模のペルソナ記録という物量で挑んだ研究だ。

この記事の要点を先に3つ挙げておく。

• できること：多様な「架空のユーザー」を大量に作り、アンケート・チャット・Web・アプリの4環境で製品を試させ、属性ごとの反応差を見られる
• できたこと：指定した性格をエージェントが演じ切れた割合は最大91.5%。実在データからの抽出品質も、限定サンプルでは高評価
• 注意すべきこと：ペルソナを演じさせるAIモデルを差し替えるだけで、製品の結論そのものが逆転しうる

なぜ必要なのか：ダミー人形1体で衝突テストをしている

新しいソフトを世に出す前にはテストをする。だが開発チームが自分で触ると、どうしてもエンジニア目線になる。自分たちで作ったものだから、どこをどう押せばいいか最初から知っているからだ。

理想は、ITリテラシーも年齢もバラバラな一般テスターに使ってもらうこと。しかし論文が冒頭で指摘するとおり、人間による評価は時間と費用がかかりすぎる。募集・日程調整・データ収集で数週間が飛ぶ。

かといって自動テストに寄せると、今度は人間の複雑さが抜け落ちる。従来の自動テストは、平均的な体型のダミー人形1体を壁にぶつけて済ませる衝突テストに近い。機能がバグらず動くかは分かっても、60代の初心者に文字が小さすぎないか、忙しい人に手順が多すぎてイライラしないかは評価できない。集計スコアは、特定の層だけが踏み抜いている地雷を平気で隠す。

MatrAIxが狙うのは、身長と体重だけでなく「せっかちな運転をする」「フレンチ料理が好き」といった性格まで持ったダミー人形を大量に用意して、一斉にぶつける評価だ。構成要素は3つ。ペルソナ集団 Persona 8B、実行環境 MatrAIx Playground、タスク集 MatrAIx Applications である。

土台：1,290項目で1人を記述する

Persona 8B は83億件のペルソナ記録からなる。ただし名前と年齢のリストではない。1人あたり1,290項目という解像度で記述されている。

投資のリスク許容度、好きな音楽ジャンル、プログラミング言語の習熟度、外交的か内向的かまでが同じ型に収まっている。自分の特徴を挙げろと言われると20個たりとも挙げられず手が止まりそうな身からすると、異様な細かさだ。

規模について2点だけ補足しておく。ひとつ、この「83億」は論文内で一貫しておらず、付録の監査値は84億件（8,400,000,000）になっている。ふたつ、こちらのほうが大事だが、83億件はデータの量であって、動かしたエージェントの数ではない。論文自身が「レコードはモデル・インターフェース・タスクと組み合わされて初めてエージェントになる」と釘を刺している。実際に走らせたのは8タスク・18,189回の試行だ。

矛盾のない多様性をどう作るか

ここで素朴な疑問が立つ。1,290項目を組み合わせるとき、統計的に多いものばかり掛け合わせれば、似たり寄ったりのステレオタイプになる。逆に完全ランダムに混ぜれば、日本生まれ日本育ちで国語教師なのに日本語が話せない、といった破綻した人物が生まれる。

チームの答えは、確率の調整と論理のフィルタを別々にかけることだった。

• 確率の調整：第一言語が英語で北米在住なら、英語習熟度が「ネイティブ」である確率を統計的に引き上げる
• 論理のフィルタ：第一言語が英語なのに英語が「まったくできない」という組み合わせは、珍しいのではなく矛盾しているので、候補から完全に消す

この分離が効いてくる。北米在住・第一言語が英語なのに習熟度は「基礎レベル」という統計的にレアな人は、確率こそ低くなるがゼロにはされず、システム内に残る。ステレオタイプを押し付けずに、現実にいる「ちょっと変わった人」も生き残らせるための設計だ。

公開されているのは100万人分

83億件すべてが公開されるわけではない。研究用に配布されるのは約100万人分のコアセットで、その半分以上が実在のデータ由来である。

なぜ切りのいい100万ではなく999,847なのか。理由は論文ではなくHugging Faceのデータカード（2026年8月12日時点）に書かれている。独自アンケートは当初508件を集めたが、うち153件が18歳未満と申告したため除去された。残りが355件で、それが合計を999,847にしている。

プライバシーについては、正確に書いておきたい。実施されたのは氏名・連絡先といった直接識別子の削除（非識別化）までだ。属性の組み合わせから個人を割り出せてしまわないかという検証は行われておらず、差分プライバシーやk-匿名性といった手法も論文には出てこない。

これは「個人を特定できないことが確かめられた」のではなく、「分かりやすい手がかりを消した」段階だ、ということになる。しかも人間由来レコードの最大のソースは、実在の人物について書かれた公開伝記である（32万件で過半数）。名前は消えていても、1,290項目という細かさで属性が並べば、元が誰かを絞り込める組み合わせは出てくるかもしれない。研究チームがそこを検証していない以上、このデータを使う側が自分の用途に照らして確認する必要がある、というのが現状だ。

動かす場所：4つの環境と1,010個のタスク

データベースとして眠っているだけではテストにならない。ペルソナを実際に動かす場が Playground で、4種類ある。

とくにWebとアプリでは、AIが文章を書くだけでなく、自分で画面を見てポインタを動かし、クリックやスワイプまで実行する。性格を割り当てられたテスターを大量に雇って、実際のECサイトで商品を探させたり、サポートAIに苦情を言わせたりしている──そんな光景に近い。タスク集には25以上のドメインにわたる1,010件の仕様が収録されている（うち実行されたのは前述の8タスク）。

ケーススタディ：食事プランを作らせてみる

分かりやすい例が、食事計画チャットボットのタスクだ。

評価対象のアシスタントは全試行で GPT-4o mini に固定し、ペルソナ側を演じるモデルだけを差し替える。ペルソナは自分のアレルギーや好みを踏まえて数日分の食事プランを引き出す。会話は平均7.1ターン。最後に「このプランを実行する可能性は1〜10でどれくらいか」を自己申告させる。栄養学的に正しいメニューが出たかではなく、そのユーザーの生活に実際に収まるかを測る設計だ。

結果、子育てを終えた世代（Empty Nesters）が実行可能性を高く答えた割合は66%、転職活動中（Career Changers）は46%だった。

この数字を見ると、筋書きが勝手に立ち上がってくる。時間にも心にも余裕がある世代は、手の込んだ健康的なメニューをすんなり受け入れる。毎日履歴書を書いて面接準備でピリピリしている側は「3時間煮込む料理なんて作ってられるか」と突き返す。いかにもありそうな話だ。

ただし、その筋書きは論文が検証したものではない。 論文は82項目すべてについて関連の強さを測ったうえで、多重比較の補正をかけると有意なものが1つも残らなかった（最良でも q = 0.51）と明記し、これらの差は「確認されたペルソナ効果ではなく記述的なもの」だと断っている。差がなぜ生じたかは検証されていない。しかもこの条件の試行では、本来走らせるはずだった対象者リストと実際の対象者が食い違っていたことも、別途記録されている。

この落差そのものが、実務上いちばん役に立つ教訓かもしれない。もっともらしい説明が浮かぶ数字ほど、検定を通っていない可能性を疑ったほうがいい。 ペルソナには背景が付いているので、どんな結果にも後付けの物語をいくらでも当てはめられてしまう。

検証：ペルソナは最後まで役を演じ切れるのか

「イライラしている」と設定しても、何回かやり取りするうちに設定を忘れ、ただの礼儀正しいAIに戻ってしまったら意味がない。

チームはここを統制実験で確かめている。丁寧さ、ユーモア、専門用語の多さ、絵文字、冗長さなど10個の特性について、4環境それぞれで、一方の極を宣言したペルソナ5体と反対の極の5体を走らせる。合計400試行だ。

結果は366/400、91.5%。ただしこの数字には、必ず添えるべき条件が2つある。

ひとつ、これは「Claude Opus 4.8にペルソナを演じさせ、同じClaude Opus 4.8に判定させた」ときの値で、人間による判定は1件も入っていない。 演者と審査員が同じモデルという構成だ。論文はこれを無批判に信頼せず、判定ごとに軌跡からの逐語的な根拠の引用を義務づけて監査可能にしている。

ふたつ、演者を替えると成績は12ポイント落ちる。同じペルソナ・タスク・環境・判定者のまま、演じるモデルだけを GPT-5.6-sol にすると 317/400、79.2% にとどまった。

環境別に見ると、Opus条件ではアプリ操作（83%）が最も苦手に見える。だがGPT条件では最下位がWeb（68%）で、アプリのほうが上だ。どの環境が難しいかは演じるモデルによって順位ごと入れ替わるので、「アプリ操作が本質的に一番難しい」という一般則は引き出せない。

崩れ方にも傾向がある。論文が挙げる主因のひとつは、モデル自身の性質と戦う指示だ。最も分かりやすいのが丁寧さで、「無礼に振る舞え」と指示されたエージェントは、ペルソナ設定では上書きできない部分——モデルが訓練の段階で身につけた「礼儀正しく振る舞う」性質——に逆らうよう求められることになる。アプリ環境では5回すべてで拒否した。論文はこれを測定ノイズではなく「ペルソナ設定の境界」──宣言された属性がモデル自身の方針と競って負ける地点──と読んでいる。

抽出品質：実在データをどれだけ反映しているか

もう1つの検証は、実在データ由来のレコードが元の情報源に裏打ちされているかだ。この論文で人間のラベルが入っているのは、前節の演技テストではなくこちらだけである。

情報源を突き合わせた100件を6人の評価者が採点したところ、平均品質スコアは5点満点で4.135だった。

「実在データに裏打ちされたデジタルクローンが出来上がった」と言いたくなるが、この採点が支えてくれるのはもう少し手前までだ。1,000件のうち100件という限定的なサンプルで、抽出品質が高く評価された──言えるのはここまでになる。

測られているのは抽出の忠実さ、つまり「元の情報源に照らしてプロフィールが正しく作られているか」であって、そのペルソナが実在の人物と同じように振る舞うかではない。論文自身、「MatrAIxのペルソナが人間と同じように文脈を隠したり、押し返したり、諦めたりすることは、ここでは何も立証されていない」と書いている。プロフィールの作りの良さと、それが動き出したときの人間らしさは、別々に検証すべき別の問題だ。

なお、うまくいっている例もある。金融データ分析ツールを使ったタスクでは、ペルソナの「信頼度」による4グループの順序が、3つのモデルすべてで完全に一致した。タスクと属性の対応が明確なときは、モデルをまたいで安定した差が出る。

最大の落とし穴：演じるモデルが結論を変える

ここまでは順調な話だ。だがこの論文で実務的に最も重いのは、付録の注意書きに書かれている。

8つのタスクを3つのモデルで、同一のペルソナ集団に対して走らせた結果を並べると、こうなる。

同じ製品ページ、同じペルソナ集団を見せて、演じるモデルを替えただけで、有料プラン選択率は23.2%から93.9%まで動く。71ポイント動く項目すらある。

つまり「ユーザーの3割が有料プランを選ぶ」という結論は、ユーザーについての事実ではなく、どのモデルにユーザーを演じさせたかについての事実になりうる。 論文はこれを受けて、人間についての主張をしたいなら結果は仮説として扱い、人間による検証を経るべきだと明言している。

もう1つ、論文が名指しで警告するのが、最も手を伸ばしやすい構成だ。ペルソナを演じるモデルと、評価対象システムの中身が同じモデルだった場合、良い結果が出ても解釈できない。システムがユーザーに良く仕えたのか、モデルが自分の出力を気に入っただけなのか区別がつかないからだ。しかも人間なら押し返したはずの回答をペルソナが受け入れれば、満足度は水増しされ、評価が見つけるべき摩擦がまさに消える。

限界と今後の課題

• 確率標本ではない：ペルソナ集団は実在集団の縮図ではなく、公開データの較正も4項目に対するベストエフォートにとどまる
• モデル依存が主要因：同一集団でも結論が23.2%〜93.9%まで動く以上、どのモデルを使うかは実装詳細ではなく評価設計の主変数である
• 人間らしさは未検証：演技テストが問うのは「指定したスタイルが現れたか」であって、そのユーザーが人間に似ているかではない
• 自己選好バイアスが未分離：ペルソナ側とシステム側のモデルを交差させた実験は未実施で、論文自身が次の課題としている
• プライバシーは直接識別子の削除まで：再識別リスクの評価や差分プライバシーは実施されていない。再識別を試みないことは技術的保証ではなく、利用者への期待として書かれている

まとめ

• 1人を1,290項目で記述したペルソナ記録が83億件。うち約100万件（実在由来599,847＋合成400,000）が公開されている
• 確率の調整と論理フィルタを分けたことで、ステレオタイプを避けつつ矛盾のない人物を生成できている
• アンケート・チャット・Web・アプリの4環境に1,010件のタスク仕様。本論文で実行したのは8タスク18,189試行
• 演技の追従率91.5%には条件が付く。Opus 4.8が演じてOpus 4.8が判定した値で人間ラベルはゼロ。演者をGPT-5.6-solに替えると79.2%
• 最大のリスクは演じるモデル。結論を出す前に、複数モデルでの再実行と人間による検証が要る

論文の結論部が、この研究の姿勢を一文で要約している。「リリース前に多様なユーザーをシミュレートせよ、そのうえで現実に照らして検証せよ」。83億件のペルソナは、人間へのヒアリングを置き換えるものではなく、ヒアリングに行く前に踏むべき前段として設計されている。

もしMatrAIxのようなシステムがより進化して、AIが人間の消費者行動や不満を99%完璧にシミュレーションできるようになったとしたら、企業は時間とコストのかかる実際の人間からのフィードバックをもらうのを完全にやめてしまうかもしれない。

リアルな人間の生の声や、理不尽だけど人間らしいクレームを聞くよりも、データとして扱いやすくて文句も言わずに24時間テストに付き合ってくれるデジタルクローンを喜ばせるために、あらゆる製品がデザインされるようになると──そんなことを考えると少し怖さを感じる。

そんなとき私たちの社会、そして人間向けのテクノロジーは一体どう変わっていってしまうのか。シミュレーションが現実のフィードバックを代替するとき、私たちは何を失うのか。

深い問いになるが、そんなことも考えてしまう。

情報ソース：