論文の概要: Simulated Customers Never Walk Away: Decision Fidelity of LLM User Simulators Measured Against Real Purchase Outcomes

• arxiv url: http://arxiv.org/abs/2606.20708v1
• Date: Tue, 16 Jun 2026 03:53:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 15:53:11.664618
• Title: Simulated Customers Never Walk Away: Decision Fidelity of LLM User Simulators Measured Against Real Purchase Outcomes
• Title（参考訳）: 身近に歩かないシミュレートされた顧客:リアル購入実績を測るLCMユーザシミュレータの精度
• Authors: Liang Chen,
• Abstract要約: 既存のフレームワークは、シミュレーターが有給参加者の真実に対して人間のように話すかどうかを測定する。 目標が割り当てられると、ユーザのモチベーションは内因性、潜伏、崩壊します。 シミュレーションされた人口が実際の連続的な選択に直面している実際のユーザの意思決定ダイナミクスを再現するかどうか。
• 参考スコア（独自算出の注目度）: 6.1260812874439345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-user-simulation has become core infrastructure for conversational AI: agent benchmarks (tau-bench), training pipelines, and a growing body of fidelity studies all rely on LLMs role-playing the human side of dialogue. Existing frameworks measure communicative fidelity -- whether simulators talk like humans -- against ground truth from paid participants role-playing assigned goals. We argue this has a structural blind spot: when the goal is assigned, the user's willingness is exogenous, so no framework can test whether simulators make decisions like real users whose motivation is endogenous, latent, and decaying. We introduce decision fidelity -- whether a simulated population reproduces the decision-state dynamics of real users facing real, consequential choices -- and measure it on a unique testbed: 2,790 production conversations between an LLM sales agent and real customers, including 793 with verified payment outcomes. Using a teacher-forced probe protocol that holds context and instrument fixed, we find a systematic, outcome-correlated failure we call the disengagement deficit: simulators reproduce eventual buyers almost exactly (depth bias +0.09) but inflate eventual non-buyers toward the purchase frame (depth bias +0.40; d=0.38, p<0.001), halving expressed resistance (25.1% to 13.5%) and nearly doubling deliberation (21.9% to 40.1%) while fabricating no purchases. The deficit replicates across model families (DeepSeek: d=0.41, p=0.002) and resists the obvious fix: instructing the simulator that it may disengage cuts marginal bias five-fold but barely moves the outcome-conditioned contrast (d=0.34, p=0.008). Real non-buyers say "not now" and stop; simulated non-buyers ask about price. Evaluating or training sales and persuasion agents against such simulators overstates funnel progress exactly where it matters most -- the customers who walk away.
• Abstract（参考訳）: LLM-as-user-simulationは、対話型AIのコアインフラストラクチャとなっている。エージェントベンチマーク(Tau-bench)、トレーニングパイプライン、そして成長する忠実度研究は、すべて人間の対話の側面をロールプレイするLLMに依存している。 既存のフレームワークは、有給参加者が割り当てられた目標をロールプレイすることによる根拠的真実に対して、コミュニケーションの忠実さ(シミュレータが人間のように話すかどうか)を測定する。 目標が割り当てられたとき、ユーザの意思は外生的であるため、内生的、潜伏的、崩壊的な実際のユーザのように、シミュレータが決定を下すかどうかをテストできるフレームワークはありません。 LLMの営業担当者と実際の顧客との2,790件の製作会話において、シミュレーションされた人口が実際の選択肢に直面している実際のユーザの意思決定状態のダイナミクスを再現するかどうかを、ユニークなテストベッドで測定する。 シミュレーターは、ほぼ正確に最終的な買い手(詳細なバイアス+0.09)を再現するが、購入枠(詳細なバイアス+0.40; d=0.38, p<0.001),表現された抵抗(25.1%から13.5%)とほぼ倍増する熟考(21.9%から40.1%)を行う。 欠陥はモデルファミリ(ディープシーク:d=0.41, p=0.002)で再現され、明らかな修正に抵抗する: 切り出しが5倍になるが、結果条件付きコントラスト(d=0.34, p=0.008)をほとんど動かさないようにシミュレータに指示する。 実際の非バイヤーは「今ではない」と言って停止し、非バイヤーを模擬して価格を尋ねる。 そうしたシミュレーターに対する販売や説得エージェントの評価や訓練は、最も重要な場所 ― 立ち去る顧客 ― の進捗を正確に表している。

関連論文リスト

• OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
  大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
  論文  参考訳（メタデータ） (2026-06-12T07:31:55Z)
• SalesSim: Benchmarking and Aligning Multimodal Language Models as Retail User Simulators [63.68151307455963]
  本稿では,マルチモーダル大規模言語モデル(MLLM)の現実的,ペルソナ主導の顧客行動のシミュレート能力を評価するためのフレームワークとテストベッドであるSalesSimを紹介する。 我々は,シミュレータの動作とペルソナ仕様との整合性,および会話品質を測定する。 実験により,UserGRPOは,会話品質を改善しつつ,ベースラインモデルの整合性を13.8%向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-08T17:59:23Z)
• Meituan Merchant Business Diagnosis via Policy-Guided Dual-Process User Simulation [15.639936579155922]
  グループレベルのユーザ行動のシミュレーションは、コストのかかるオンライン実験を伴わずに、商業戦略のスケーラブルな偽物評価を可能にする。 動作軌跡から伝達可能な決定ポリシーをマイニングする2プロセスフレームワークであるPGHS(Policy-Guided Hybrid Simulation)を提案する。 PGHSはグループシミュレーションの誤差の8.80%を達成し、それぞれ45.8%、40.9%改善した。
  論文  参考訳（メタデータ） (2026-04-16T16:23:13Z)
• Sell More, Play Less: Benchmarking LLM Realistic Selling Skill [1.1560747347923173]
  SalesLLMベンチマークは、Financial ServicesとConsumer Goodsをカバーする現実的なアプリケーションから構築されている。 SalesLLMベンチマークのスコアは、専門家の人間格付けと強く相関している。
  論文  参考訳（メタデータ） (2026-04-08T13:06:37Z)
• RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation [43.758401022409465]
  RealUserSimは、実際の行動データに基づく最初のユーザーシミュレーションフレームワークである。 14,000以上の人間とLLMの会話(WildChat)から、7,275の行動プロファイルを抽出する。 71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)は、基底シミュレーションが一致率を24.2%から45.3%に引き上げていることを示している。
  論文  参考訳（メタデータ） (2026-04-07T19:42:36Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。