論文の概要: MIMESIS: Learning User Simulators as Training Environments for Interactive Agents

• arxiv url: http://arxiv.org/abs/2610.09484v1
• Date: Wed, 07 Oct 2026 05:37:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.738218
• Title: MIMESIS: Learning User Simulators as Training Environments for Interactive Agents
• Title（参考訳）: MIMESIS:対話型エージェントのトレーニング環境としてのユーザシミュレータ学習
• Abstract要約: 対話型言語エージェントのトレーニングと評価には、リッチなユーザインタラクションが必要だが、人間のフィードバックの収集は高価でスケールが難しい。 MIMESISは、人間の会話を訓練し、明確な推論の監督を施したユーザシミュレータである。 我々の9Bモデルは、最強のフロンティアモデルを上回る65.7のSOUL-Indexを達成する。
• 参考スコア（独自算出の注目度）: 18.483534109032465
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Training and evaluating interactive language agents typically requires rich user interactions, yet collecting human feedback is expensive and difficult to scale. Simulated users offer a scalable alternative, but they must both resemble real user behavior and provide useful learning experiences for agents. In contrast, most agent-training frameworks rely on off-the-shelf assistant LLMs, whose helpfulness can make them overly cooperative, explicit, and behaviorally homogeneous compared with real users. We introduce MIMESIS, a purpose-built user simulator trained on human conversations with explicit reasoning supervision and 13 realistic behavioral patterns derived from real user interactions. Empirically, our 9B model achieves a SOUL-Index of 65.7, surpassing the strongest frontier model. Compared with Claude-Opus-5, the strongest baseline on RealUserSim and SimulatorArena, MIMESIS improves behavioral fidelity by 13.4 points and reduces Turing distance by 3.6 points, respectively. We then freeze the simulator and train an agent by interacting with the frozen simulator using multi-turn reinforcement learning. Across eight environments, training with MIMESIS yields better agent performance than training with GPT-5.5 under all nine unseen user simulators, demonstrating stronger generalization to new user simulators. Moreover, we propose Coached On-Policy Self-Distillation (CSD), which leverages simulator-generated private reasoning traces and subsequent utterances as feedback on how well the agent addresses user needs. A coach converts this information into concise coaching notes that describe how the agent can better anticipate user needs and adapt its behavior over the course of an interaction. CSD turns this feedback into dense, token-level supervision beyond sparse task rewards, yielding further gains across all nine evaluation user models.
• Abstract（参考訳）: 対話型言語エージェントのトレーニングと評価は、一般的にはリッチなユーザインタラクションを必要とするが、人間のフィードバックの収集は高価でスケールが難しい。 シミュレーションされたユーザはスケーラブルな代替手段を提供するが、実際のユーザの振る舞いに似ていて、エージェントに有用な学習体験を提供する必要がある。 対照的に、ほとんどのエージェントトレーニングフレームワークは、既成のアシスタントLLMに依存しており、実際のユーザと比べて、過度に協調的で明示的で行動的に均質になる可能性がある。 MIMESISは、人間の会話を訓練したユーザシミュレータで、明確な推論の監督と、実際のユーザインタラクションから派生した13の現実的な行動パターンを紹介する。 実証的には、我々の9Bモデルは最強のフロンティアモデルを上回る65.7のSOUL-Indexを達成する。 RealUserSimとSimulatorArenaのベースラインであるClaude-Opus-5と比較して、MIMESISは行動の忠実度を13.4ポイント改善し、チューリング距離を3.6ポイント短縮する。 次に、シミュレータを凍結し、マルチターン強化学習を用いて凍結シミュレータと相互作用してエージェントを訓練する。 8つの環境において、MIMESISを使用したトレーニングはGPT-5.5のトレーニングよりも優れたエージェント性能を示し、新しいユーザーシミュレータのより強力な一般化を示す。 さらに,シミュレータ生成した個人推論トレースとその後の発話を,エージェントがユーザニーズにどのように対処するかのフィードバックとして活用するCoached On-Policy Self-Distillation (CSD)を提案する。 コーチは、この情報を簡潔なコーチングノートに変換し、エージェントがユーザーのニーズをより正確に予測し、インタラクションの過程でその振る舞いを適応させる方法を説明する。 CSDはこのフィードバックを、まばらなタスク報酬を超えた、密集したトークンレベルの監視に転換し、9つの評価ユーザモデルすべてにさらに利益をもたらします。

関連論文リスト

• TRACER: Trajectory-Aligned Learning for Multi-Turn User Simulation [13.030102131786906]
  ユーザ意図の進化をモデル化し,シミュレーションされた軌跡を実物と整合させるマルチターンユーザシミュレータTRACERを提案する。 リファレンスコホートに組織された実際のカスタマーサービスセッションでは、TRACER-7Bが11.4の変換F1ポイントで最強のベースラインを越えた。 人間のチューリングテストでは、アノテータはTRACERの会話をほぼ精度で識別した。
  論文  参考訳（メタデータ） (2026-09-23T18:30:12Z)
• PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems [53.65117408512214]
  我々は,現実的なマルチターンユーザ-エージェントインタラクションを合成するユーザシミュレーションフレームワークであるtextbfPersonaForgeを紹介した。 PersonaForgeを使って、6.3Kレコードのトレーニングデータセットと、手動で注釈付き138タスクベンチマークである textbfPersonaForge-Benchを構築します。 実験の結果、PersonaForgeのトレーニングでは、合成スコアが+4.1%向上し、4次元すべてで利得が得られた。
  論文  参考訳（メタデータ） (2026-08-28T14:33:19Z)
• Reinforcing Human Behavior Simulation via Verbal Feedback [105.68319269895653]
  本稿では,言語フィードバックを強化学習の第一級信号として扱うことによって訓練したモデルであるDITTOを提案する。 また、心の理論、キャラクターロールプレイ、社会的スキル、学習者シミュレーション、ユーザシミュレーション、ペルソナシミュレーションの6つのカテゴリにまたがる10のタスクにまたがる統合ベンチマークとトレーニングデータスイートであるSOULを紹介した。 DitTOはベースモデルに対して平均36%の改善を達成し、10のSOULベンチマークでGPT-5.4を上回った。
  論文  参考訳（メタデータ） (2026-05-19T21:23:24Z)
• Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents [28.85410475505536]
  Persona Policies (PPol) は、ユーザシミュレータの現実的な振る舞い変化を誘導するコントロール層である。 PPolはドメイン内のあらゆるタスクに対して、多種多様な人間のようなペルソナを生産する。 PPolで訓練されたエージェントは、挑戦的で非分配的な振る舞いに対してより堅牢であり、既存のシミュレートされたインタラクションのみに関するトレーニングに比べて、タスクの成功率が+17%向上する。
  論文  参考訳（メタデータ） (2026-05-13T02:16:51Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• Adversarial learning of neural user simulators for dialogue policy optimisation [14.257597015289512]
  強化学習に基づく対話ポリシーは、通常、ユーザシミュレータとのインタラクションで訓練される。 現在のデータ駆動シミュレータは、対話コーパス内のユーザの振る舞いを正確にモデル化するように訓練されている。 そこで本研究では,現実的なユーザ行動のシミュレートを目的とした,逆学習を用いた代替手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T16:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。