論文の概要: Training User Simulators with Latent Intrinsic Feedback

• arxiv url: http://arxiv.org/abs/2610.13617v1
• Date: Fri, 09 Oct 2026 14:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.611291
• Title: Training User Simulators with Latent Intrinsic Feedback
• Title（参考訳）: 潜在固有フィードバックを用いたユーザシミュレータの訓練
• Abstract要約: 潜時評価状態を備えたユーザシミュレータを提案する。 本研究は,本質的なフィードバックがシミュレーションリアリズムや批判行動を改善することを実証する。 実験の結果,本質的なフィードバックを持つシミュレータは,マルチターンRLトレーニングに有効な報奨信号を提供することがわかった。
• 参考スコア（独自算出の注目度）: 19.86049788091375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User simulators are gaining attention as environments to train LLM assistants that can better cope with the nuances of multi-turn conversations with real users. Prior work on user simulation has emphasized generating realistic user utterances, leaving unexplored their potential as a source of direct feedback on the assistant's responses. Such evaluation signals may not be explicitly communicated in language, but can instead reside in the latent reasoning of users. In this work, we introduce user simulators with intrinsic feedback, namely, models equipped with latent evaluation states: internal thoughts, reactions, and scalar ratings that evaluate the assistant from a first-person user perspective at each conversation turn. We train LLM-based simulators using interaction logs between real users and assistants and demonstrate that intrinsic feedback improves simulation realism and critiquing behaviors versus prompted simulator baselines, while also providing turn-level evaluations that existing fine-tuned simulators lack. Further, evaluations generated by our trained simulators correlate better with human judgments than those of prompted simulators of the same size. Lastly, our experiments reveal that simulators with intrinsic feedback provide effective reward signals for multi-turn RL training, matching setups that rely on external judge LLMs for rewards while cutting RL compute by more than half.
• Abstract（参考訳）: ユーザシミュレータは、実際のユーザとのマルチターン会話のニュアンスに対処できるLLMアシスタントをトレーニングする環境として注目されている。 ユーザシミュレーションに関する以前の研究は、現実的なユーザ発話の生成を強調しており、アシスタントの反応に対する直接的なフィードバックの源として、その潜在能力を探索していないままにしている。 このような評価信号は言語で明示的に伝達されるのではなく、ユーザの潜在的な推論に留まることができる。 本研究は,内的フィードバックを伴うユーザシミュレータ,すなわち,内的思考,反応,スカラー評価といった潜在的評価条件を備えたモデルを導入し,会話のターン毎に一人称のユーザ視点からアシスタントを評価する。 実ユーザとアシスタント間のインタラクションログを用いてLCMベースのシミュレータをトレーニングし、本質的なフィードバックがシミュレーションリアリズムとクオリティクリング行動を改善することを実証するとともに、既存の微調整シミュレータに欠けているターンレベル評価を提供する。 さらに, トレーニングシミュレータによる評価は, 同じ大きさのシミュレータによる評価よりも, 人間の判断と相関することがわかった。 最後に,本実験の結果から,RL計算を半分以上カットしながら,外部の判定用LCMに頼ったマッチング設定を,固有フィードバックを持つシミュレータが効果的に行うことが判明した。

関連論文リスト

• Quantifying the Utility of User Simulators for Building Collaborative LLM Assistants [7.523995265564992]
  下流ユーティリティの観点からシミュレータの品質を定量化する方法を示す。 我々は、シミュレータのスペクトルに対して強化学習によってLLMアシスタントを訓練する。 評価として,283名を対象にしたユーザスタディにおいて,ペアワイズ勝利率を測定した。
  論文  参考訳（メタデータ） (2026-05-10T23:06:24Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。