論文の概要: RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation
- arxiv url: http://arxiv.org/abs/2605.20204v1
- Date: Tue, 07 Apr 2026 19:42:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 12:34:33.970057
- Title: RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation
- Title（参考訳）: RealUserSim: 接地ユーザシミュレーションによるエージェントベンチマークにおける現実的なギャップのブリッジ
- Abstract要約: RealUserSimは、実際の行動データに基づく最初のユーザーシミュレーションフレームワークである。
14,000以上の人間とLLMの会話(WildChat)から、7,275の行動プロファイルを抽出する。
71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)は、基底シミュレーションが一致率を24.2%から45.3%に引き上げていることを示している。
- 参考スコア（独自算出の注目度）: 43.758401022409465
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: LLM-based user simulation is the primary mechanism for end-to-end agent evaluation, yet simulated users are poor proxies for real humans: unconstrained LLM defaults produce a Formalism Ceiling (style match rates of 6-8% against real users), while hand-crafted behavioral directives trigger Directive Amplification, where models hyper-interpret instructions into unnatural behavioral extremes that vary dramatically across simulator models. We present RealUserSim, the first user simulation framework grounded in real behavioral data. From 14,000+ authentic human-LLM conversations (WildChat), we extract 7,275 executable behavioral profiles and use them to ground LLM simulators. A fidelity benchmark (PT3) on 600 conversations across 71+ domains with anti-leakage controls shows that grounded simulation raises match rate from 24.2% to 45.3% across five behavioral dimensions. Agent evaluation on TauBench with 6 simulator models and extensive analysis shows that grounded simulation acts as a realistic stress test, surfacing three failure mechanisms invisible to cooperative simulators (mean -3.2% to -3.5% task success degradation), while Directive Amplification in existing benchmarks produces unrealistic behavior that compromises the validity of agent evaluation.
- Abstract（参考訳）: LLMをベースとしたユーザシミュレーションは、エンド・ツー・エンドのエージェント評価の主要なメカニズムであるが、シミュレーションされたユーザは、実際の人間にとって悪いプロキシである: 制約のないLDMのデフォルトは、フォーマリズム・シーリング(通常、実際のユーザに対して6-8%の一致率)を生成する一方で、手作りの行動指示がダイレクト・アンプリフィケーション(Directive Amplification)を起動する。
実行動データに基づく最初のユーザシミュレーションフレームワークであるRealUserSimを紹介する。
14,000以上の人間とLLMの会話(WildChat)から7,275個の行動プロファイルを抽出し,LLMシミュレータのグラウンドとして利用する。
71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)では、基底シミュレーションは5つの行動次元で24.2%から45.3%に一致率を高めている。
6つのシミュレーターモデルと広範囲な分析によるTauBenchのエージェント評価は、グラウンドドシミュレーションが現実的なストレステストとして機能し、協調シミュレータに見えない3つの障害機構(平均-3.2%から3.5%のタスク成功劣化)を克服し、既存のベンチマークのディレクティブ増幅はエージェント評価の有効性を損なう非現実的な振る舞いを生み出すことを示している。
関連論文リスト
- Limitations of Automated Simulatability: LLM Simulators Can Bypass Explanations [16.24449973143784]
Simulatability(シミュラビリティ)は、ユーザがタスクモデルのアウトプットを予測するのにいかに役立つかによって、その有用性を定量化する説明のための評価プロトコルである。
テストされたデータセット、説明ファミリ、シミュレータLLM間でのConSimの説明方法のランキングを再現し、拡張する。
シミュレーターは、説明に頼らずに、直接分類タスクを解くことで、高いシミュラビリティを得ることができることがわかった。
論文 参考訳（メタデータ） (2026-09-08T11:21:55Z) - Will Scaling Improve Social Simulation with LLMs? [87.15677770205751]
大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。
スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
論文 参考訳（メタデータ） (2026-07-02T17:30:38Z) - OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。
しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。
OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
論文 参考訳（メタデータ） (2026-06-12T07:31:55Z) - A Practical Recipe Towards Improving Sim-and-Real Correlation for VLA Evaluation [13.439555106885491]
シミュレーション評価は,政策ランキングの整合性,性能相関,摂動障害パターンの観点から,現実の結論を保っているかを検討する。
この分析により,既存のシミュレータの限界を特徴付けることができ,シミュレーション信号が現実世界の配置とより整合しているかを特定することができる。
論文 参考訳（メタデータ） (2026-06-09T03:25:02Z) - Task-Aware Automated User Profile Generation for Recommendation Simulation Using Large Language Models [8.706093337738869]
本稿では,推薦シミュレーションのための自動プロファイル生成フレームワーク APG4RecSimを提案する。
APG4RecSimは、最小限の監督で、現実的で、一貫性があり、堅牢なユーザープロファイルを構築する。
以上の結果から, APG4RecSimが生成するプロファイルは, 人気や位置によるバイアスに耐性があることが示唆された。
論文 参考訳（メタデータ） (2026-05-13T13:20:39Z) - Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。
実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。
ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
論文 参考訳（メタデータ） (2026-05-08T15:09:25Z) - Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。
シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。
VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
論文 参考訳（メタデータ） (2026-05-07T14:13:05Z) - DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation [2.7246995570820354]
DexSim2Realは、デクサラス操作のためのsim-to-realギャップをブリッジする統合フレームワークである。
本システムでは,視覚リアリズム批判として視覚言語モデルを用いて,クローズドループCMA-ESによるシミュレーションパラメータの最適化を行うFM-DR,ゼロショットsim-to-real RLへのクロスアテンションビズオ触覚融合を適応するTVCAP,LLMに基づくタスク分解に基づくプログレッシブスキルカリキュラム(PSC)の3つのコンポーネントを組み合わせる。
論文 参考訳（メタデータ） (2026-05-03T17:29:29Z) - Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。
LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。
これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
論文 参考訳（メタデータ） (2026-03-11T19:12:31Z) - SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。
現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。
シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文 参考訳（メタデータ） (2025-10-20T13:14:38Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳（メタデータ） (2023-06-05T02:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。