論文の概要: Stop Training Against Soft Users: Mentalized Adversarial Self-Play for Proactive Dialogue

• arxiv url: http://arxiv.org/abs/2610.21156v1
• Date: Thu, 15 Oct 2026 03:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.156683
• Title: Stop Training Against Soft Users: Mentalized Adversarial Self-Play for Proactive Dialogue
• Title（参考訳）: ソフトユーザに対するトレーニングを中止する: 対人対話のためのメンタル・アドベラル・セルフプレイ
• Abstract要約: Mentalized Adversarial Self Play frameworkは、能動的対話をシステムと合理的に抵抗するユーザの間の部分的に観察可能なゲームとして扱う。 MASPは成功率(SR)と合理性制約成功(RCSR)を大幅に改善する 平均的なターン(AT)を減らし、タスク目標を達成しにくくするハードユーザに対して、よりよいパフォーマンスを実現します。
• 参考スコア（独自算出の注目度）: 11.048065974877682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proactive dialogue agents must guide multi-turn interactions toward task goals while adapting to users whose intentions and attitudes evolve. Existing planners improve system side action selection through search, learned policies, or user aware planning, but are often trained and evaluated against fixed or overly compliant simulators; as a result, high simulated success can reflect soft user bias rather than robust dialogue ability. We introduce MASP, a Mentalized Adversarial Self Play framework that treats proactive dialogue as a partially observable game between a system and a rationally resisting user. MASP represents the user's evolving mental state with a BDI based latent state, separates reward side teacher mentalization from policy side student mentalization, and alternates self play updates for the system and user policies. This turns robustness to rational resistance into a training objective rather than only an evaluation condition. Across diverse proactive dialogue benchmarks, compared with the widely used SFT and Planner-only approaches, MASP substantially improves success rate (SR) and rationality constrained success (RCSR), reduces average turns (AT), and performs better against hard users who make the task goal more difficult to achieve.
• Abstract（参考訳）: 積極的対話エージェントは、意図や態度が進化するユーザに対して適応しながら、タスク目標に向けて多ターンインタラクションを導く必要がある。 既存のプランナーは、検索、学習ポリシー、ユーザ認知計画を通じてシステム側のアクション選択を改善するが、しばしば、固定的または過度に準拠したシミュレータに対して訓練され、評価される。 我々は,プロアクティブ対話をシステムと合理的に抵抗するユーザの間の部分的に観察可能なゲームとして扱う,メンタライズ適応型セルフプレイフレームワークであるMASPを紹介する。 MASPは、BDIベースの潜伏状態でユーザの進化する精神状態を表し、報酬側教師のメンタライゼーションと政策側学生のメンタライゼーションを分離し、システムとユーザポリシーのセルフプレイ更新を交互に行う。 これにより、合理的な抵抗に対する堅牢性は、単に評価条件ではなく、トレーニング目標に変わります。 様々なプロアクティブな対話ベンチマークにおいて、広く使われているSFTとPlannerのみのアプローチと比較して、MASPは成功率(SR)と合理性制約された成功(RCSR)を大幅に改善し、平均旋回(AT)を減らし、タスク目標を達成するのがより難しいハードユーザーに対してより良いパフォーマンスを発揮する。

関連論文リスト

• User-Aware Active Knowledge Acquisition for Emotional Support Dialogue [46.111956166470556]
  グラデーションフリーな対話学習フレームワークであるUKA(User-Aware Active Knowledge Acquisition)を紹介する。 そこで本研究では,モデルが応答を優先順位付けできる理論・原理不確実性推定機構を提案する。 UKAは、テスト時に堅牢性を保ちながら、トレーニング中にユーザに沿った会話知識を効率的に探索することができる。
  論文  参考訳（メタデータ） (2026-05-28T10:13:38Z)
• Listening to the Echo: User-Reaction Aware Policy Optimization via Scalar-Verbal Hybrid Reinforcement Learning [42.070531160001785]
  感情支援システムのための反応認識ポリシー最適化(RAPO)を提案する。 RAPOは、対話を反応駆動プロセスとして扱い、シミュレーションされたユーザ応答を利用して、高密度な自然言語フィードバックを生成する。 RAPOは、肯定的な相互作用の結果の駆動において、強い強化学習ベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-03-16T15:39:54Z)
• Consistently Simulating Human Personas with Multi-Turn Reinforcement Learning [52.07170679746533]
  大規模言語モデル(LLM)は、セラピー、教育、社会的役割プレイといったインタラクティブな環境において、人間のユーザをシミュレートするためにますます使われています。 LLM生成対話におけるペルソナの一貫性の評価と改善のための統一的なフレームワークを提案する。 我々は3つの自動メトリクス、即行一貫性、行間一貫性、Q&A一貫性を定義し、異なるタイプのペルソナドリフトをキャプチャし、それぞれが人間のアノテーションに対して検証する。
  論文  参考訳（メタデータ） (2025-10-31T19:40:41Z)
• Enhancing User-Oriented Proactivity in Open-Domain Dialogues with Critic Guidance [35.15965694815852]
  オープンドメイン対話システムは自然な会話を生み出すことを目的としている。 既存の大きな言語モデル(LLM)は、ユーザのチャットの好みを積極的に理解できない。 ユーザ指向のプロアクティブ性を高めるために,ユーザ指向プロアクティブ(UPC)を提案する。
  論文  参考訳（メタデータ） (2025-05-18T09:59:22Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• Interacting with Non-Cooperative User: A New Paradigm for Proactive Dialogue Policy [83.61404191470126]
  インタラクティブな環境下でプロアクティブなポリシーを学習できるI-Proという新しいソリューションを提案する。 具体的には,4つの要因からなる学習目標重みを通じてトレードオフを学習する。 実験の結果,I-Proは,有効性と解釈性において,ベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T14:11:31Z)
• Automatic Curriculum Learning With Over-repetition Penalty for Dialogue Policy Learning [8.744026064255337]
  ACL-DQN(Automatic Curriculum Learning-based Deep Q-Network)という新しいフレームワークを提案し,自動カリキュラム学習のための対話方針を実現する。 教師モデルは、有意義な順序のカリキュラムを配置し、対話エージェントの学習進捗を監視して自動的に調整する。 実験により,ACL-DQNは,統計的に有意なマージンを有する対話タスクの有効性と安定性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2020-12-28T02:44:49Z)
• Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems [58.724629408229205]
  本稿では、従来の教師あり学習とシミュレータなしの逆学習法を用いて、最先端のRL法に匹敵する性能を実現する方法を示す。 我々の主な目的は、教師あり学習で強化学習に勝ることではなく、タスク指向対話システムの最適化における強化学習と教師あり学習の役割を再考する価値を示すことである。
  論文  参考訳（メタデータ） (2020-09-21T12:04:18Z)
• Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition [64.06167416127386]
  本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。 2人のエージェントが互いに相互作用し、同時に一緒に学習されます。 その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-08T04:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。