論文の概要: Dual-Loop Self-Evolution via Verifiable Emotion Feedback for Multi-Turn Empathetic Dialogue
- arxiv url: http://arxiv.org/abs/2608.10626v1
- Date: Tue, 11 Aug 2026 08:14:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.956789
- Title: Dual-Loop Self-Evolution via Verifiable Emotion Feedback for Multi-Turn Empathetic Dialogue
- Title（参考訳）: 多段階交感神経対話のための検証感情フィードバックによる二重ループ自己進化
- Abstract要約: 共感的サポートは本質的にマルチターンとパス依存である。
既存の方法は、トレーニングのインタラクション分布を固定しつつ、対話ポリシーを進化させる。
検証可能な感情フィードバックによって駆動されるデュアルループ自己進化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 25.142249614911208
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models have demonstrated conversational capabilities, yet empathetic competence remains challenging. Empathetic support is inherently multi-turn and path-dependent: users disclose concerns gradually, emotions evolve over time, and early responses shape trust and receptivity. Reinforcement learning with verifiable emotion rewards provides scalable supervision for long-horizon interactions. However, existing methods evolve the dialogue policy while keeping its training interaction distribution fixed, creating a mismatch between policy competence and training experience. We introduce a dual-loop self-evolution framework driven by verifiable emotion feedback. With the user simulator and verifier frozen, the inner loop optimizes the multi-turn policy using continuous emotion rewards, while the outer loop uses the same outcomes to estimate policy-relative interaction utility and adapt experience. To obtain estimates from sparse, stochastic rollouts, the framework holds the scenario and interaction state constant within each group and prioritizes conditions whose group pass rates lie near the policy's competence boundary. A hierarchical controller shares evidence across support intents, while uncertainty-guided exploration and uniform rehearsal prevent premature exclusion. The resulting distribution generates trajectories, closing both loops without increasing the rollout budget. On SAGE, our framework raises Qwen3-8B Overall from 53.87 to 79.24 and outperforms protocol-matched uniform emotion-reward reinforcement learning by 7.23 points.
- Abstract（参考訳）: 大規模な言語モデルは会話能力を示してきたが、共感能力は依然として困難である。
共感的サポートは本質的にマルチターンとパス依存であり、ユーザーは懸念を徐々に明らかにし、感情は時間とともに進化し、初期の反応は信頼と受容を形作る。
検証可能な感情報酬による強化学習は、長期的相互作用に対するスケーラブルな監視を提供する。
しかし、既存の手法は、訓練の相互作用分布を一定に保ちながら、対話ポリシーを進化させ、政策能力と訓練経験のミスマッチを生み出す。
検証可能な感情フィードバックによって駆動されるデュアルループ自己進化フレームワークを提案する。
ユーザシミュレータと検証器が凍結すると、内部ループは連続的な感情報酬を使ってマルチターンポリシーを最適化し、外側ループは同じ結果を使用してポリシー関連インタラクションユーティリティと適応エクスペリエンスを推定する。
スパースで確率的なロールアウトから推定を得るために、このフレームワークは各グループ内でシナリオと相互作用状態を一定に保持し、ポリシーの能力境界付近にある群通過率を優先順位付けする。
階層的なコントローラーは、支持意図にまたがる証拠を共有し、不確実性誘導探索と一様リハーサルは早期排除を防ぐ。
結果の分布は軌道を生成し、ロールアウト予算を増大させることなく、両方のループを閉じる。
SAGE では,Qwen3-8B を 53.87 から 79.24 に引き上げ,プロトコルに適合した一様感情回復強化学習を7.23 ポイント向上させる。
関連論文リスト
- Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies [56.86456077356948]
凍結言語アクション(VLA)ポリシーは、テスト時に徐々に改善されている。
追加のサンプリングは、ポリシーのロールアウト内により優れた振る舞いが存在する場合にのみ有効である。
検索は、関連するアクションがポリシーによって確実に表現されない場合に最も有用である。
論文 参考訳（メタデータ） (2026-08-18T08:11:31Z) - Adversarial Attacks for Good: A Survey of Proactive Protection across the Visual Content Lifecycle [65.6642776933861]
この介入点付近で成長した保護パラダイムについて検討する。
ほとんどの保護は、主に静的あるいは弱い適応的な敵に対して検証されている。
我々は、堅牢で構成可能で、デプロイ可能な所有者側の保護のために、クロスステージ対策とオープンな問題を統合することで、閉鎖する。
論文 参考訳（メタデータ） (2026-08-05T00:46:50Z) - StanceFlip: A Comprehensive Multi-Dimensional Benchmark for Multimodal Conversational Stance Flipping Forecasting [26.620661739354293]
StanceFlipは、マルチターン対話の予測を反転させるマルチモーダルな会話姿勢のためのベンチマークである。
提案手法は, セクシュタプル抽出とフリップトリガー属性の両面において, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2026-07-27T09:11:56Z) - Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。
プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。
このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
論文 参考訳（メタデータ） (2026-07-24T17:59:22Z) - Learning When to Listen: Gated Affect Fusion for Human Motion Prediction [0.0]
本研究では,感情条件付き予測システムの有用性と時間的制約について検討する。
本稿では,Gated Affect Transformer (GAT)を導入し,モーダル情報の流れを動的に制御する。
以上の結果から, 顔への影響は相補的行動の手がかりとみなす必要があるという実証的証拠が得られた。
論文 参考訳（メタデータ） (2026-07-01T00:47:02Z) - Unlocking Proactivity in Task-Oriented Dialogue [21.99795860301162]
アクティブなタスク指向対話(TOD)は、ユーザの懸念を積極的に調査し、受け入れに向けて会話を操縦する説得エージェントを要求する。
ユーザの潜在的関心事に対する条件付けは、サンプリングの量が損なわれることのない、プロアクティブな能力を解放することを示します。
論文 参考訳（メタデータ） (2026-05-21T09:46:25Z) - EMPA: Evaluating Persona-Aligned Empathy as a Process [2.6558732808569805]
EMPAはプロセス指向のフレームワークであり、個別の応答よりも持続的な介入としてペルソナによるサポートを評価する。
実際の相互作用を、制御可能で心理的に根拠付けられたシナリオに蒸留する。
横方向のアライメント、累積的な影響、安定性によって、潜在心理学空間における軌跡をスコアする。
論文 参考訳（メタデータ） (2026-02-28T09:04:06Z) - RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents [67.46032287312339]
大規模言語モデル(LLM)は論理的およびアルゴリズム的推論において優れているが、彼らの感情的知性(EQ)は認知能力よりもはるかに遅れている。
シミュレーションユーザによる検証可能な感情報酬を活用する,最初のエンドツーエンド強化学習フレームワークであるRLVERを紹介する。
以上の結果から,RLVERは感情的知的で幅広い言語エージェントへの実践的な経路であることが示唆された。
論文 参考訳（メタデータ） (2025-07-03T18:33:18Z) - Steering Robots with Inference-Time Interactions [0.5801621787540268]
事前訓練されたポリシーがデプロイメント中にエラーを発生させる場合、ユーザがその動作を修正するための制限されたメカニズムが存在する。
私の研究は、トレーニング済みのポリシーを固定されたスキルレパートリーとして凍結させながら、ユーザーのインタラクションが推論時に行動生成をガイドできるようにする方法を提案する。
具体的には,(1)個別のスキルの切り替えにユーザインタラクションを活用する推論時ステアリング,(2)個別のシンボリックプランで定義されたタスク制約を満たしつつ,ユーザインタラクションによる連続的な動作の編集を可能にするタスクと動作の模倣を提案する。
論文 参考訳（メタデータ） (2025-06-17T07:59:07Z) - Ready-to-React: Online Reaction Policy for Two-Character Interaction Generation [82.73098356401725]
本稿では,過去観測された動きに基づいて次のキャラクターのポーズを生成するためのオンライン反応ポリシーであるReady-to-Reactを提案する。
各キャラクターは独自の反応ポリシーを「脳」として持っており、実際の人間のようにストリーミングで対話することができる。
われわれのアプローチはスパース信号で制御でき、VRや他のオンラインインタラクティブ環境にも適している。
論文 参考訳（メタデータ） (2025-02-27T18:40:30Z) - Inference-Time Policy Steering through Human Interactions [54.02655062969934]
推論中、人間はしばしばポリシー実行ループから取り除かれる。
本稿では,人間のインタラクションを活用して生成するサンプリングプロセスにバイアスを与える推論時ポリシーステアリングフレームワークを提案する。
提案手法は,アライメントと分布シフトの最良のトレードオフを実現する。
論文 参考訳（メタデータ） (2024-11-25T18:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。