論文の概要: ESCRAG-R1: Retrieval-Augmented Reinforcement Learning for Emotional Support Conversation
- arxiv url: http://arxiv.org/abs/2608.21925v1
- Date: Sat, 22 Aug 2026 11:32:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.535378
- Title: ESCRAG-R1: Retrieval-Augmented Reinforcement Learning for Emotional Support Conversation
- Title（参考訳）: ESCRAG-R1:Retrieval-Augmented Reinforcement Learning for Emotional Support Conversation
- Abstract要約: 情緒的支援会話システムは、専門的治療能力と自然な共感のバランスをとることによって、全体的支援を提供することを目的としている。
既存の手法は、構造化されたステージアウェアな推論とシームレスな共感-専門家のアライメントを同時に達成するのに苦労している。
本稿では,グループ相対政策最適化に検索に基づく心理的ガイダンスを統合する統合フレームワークESCRAG-R1を提案する。
- 参考スコア（独自算出の注目度）: 11.720936066131893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emotional Support Conversation (ESC) systems aim to provide holistic support by balancing professional therapeutic competence with natural empathy. However, existing methods struggle to simultaneously achieve structured, stage-aware reasoning and seamless empathy-expertise alignment, often resulting in an artificial splicing of clinical strategies and generic reassurance. To overcome these limitations, we propose ESCRAG-R1, a unified framework that integrates retrieval-based psychological guidance into Group Relative Policy Optimization (GRPO). By incorporating retrieval into the reinforcement learning loop, ESCRAG-R1 transforms external knowledge into a robust learning signal that stimulates explicit internal reasoning prior to generation and fundamentally reshapes the model's internal policy. To provide the reliable supervision required for this optimization, we construct ESC-Preference, a high-quality dataset based on a Client--Counselor--Judge evaluation framework that delivers precise, empathy-aware reward signals. Extensive experiments demonstrate that ESCRAG-R1 significantly outperforms existing baselines by mitigating superficial splicing and realizing a natural integration of professional guidance and empathetic expression. Code and datasets are released at https://github.com/Matcha-Liu/ESCRAG-R1.
- Abstract（参考訳）: Emotional Support Conversation (ESC) システムは、専門的な治療能力と自然な共感のバランスをとることで、全体的支援を提供することを目的としている。
しかし、既存の手法では、構造化された段階認識推論とシームレスな共感-専門家アライメントを同時に達成することは困難であり、多くの場合、臨床戦略の人工的なスプライシングと一般的な安心感をもたらす。
これらの制約を克服するために,グループ相対政策最適化(GRPO)に検索ベースの心理的ガイダンスを統合する統合フレームワークESCRAG-R1を提案する。
強化学習ループに検索を組み込むことにより、ESCRAG-R1は外部知識を堅牢な学習信号に変換する。
この最適化に必要な信頼性の高い監視を行うため,クライアント・カウンセラー・ジャッジ評価フレームワークをベースとした高品質なデータセットであるESC-Preferenceを構築した。
大規模な実験により、ESCRAG-R1は表面スプライシングを緩和し、プロのガイダンスと共感的表現の自然な統合を実現することにより、既存のベースラインを著しく上回っていることが示されている。
コードとデータセットはhttps://github.com/Matcha-Liu/ESCRAG-R1.comで公開されている。
関連論文リスト
- DeepSAGE: Stage-Aware Reinforcement Learning for Structured CBT Counseling Dialogue [44.08107411670182]
認知行動療法(CBT)に基づく段階認識型カウンセリング対話のためのフレームワークDeepSAGEについて紹介する。
DeepSAGEはこのセッションを、明確な治療目的を持った11のステージとして表現し、外部コントローラがステージ完了を決定する。
DeepSAGEは、シミュレーションされたクライアントのエンゲージメントとオープン性を高め、ステージゴール完了と対話効率のバランスを最大化します。
論文 参考訳（メタデータ） (2026-08-23T21:40:58Z) - Reputation-driven Cooperation in Lattice-based Decentralized Federated Learning through Evolutionary Game Theory [0.3572141827285953]
本稿では,戦略的進化の分析とシステム全体の性能向上を目的とした新しいEGTフレームワークを提案する。
我々は、有界有理性の仮定の下で格子ネットワーク構造上のピアツーピア(P2P)相互作用をモデル化する。
評価に基づく報奨・報奨機構を統合して,フリーライディングの行動を効果的に抑制する。
論文 参考訳（メタデータ） (2026-08-02T12:23:45Z) - PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning [80.94559742826083]
Reinforcement Learning with Verifiable Rewards (RLVR) は伝統的に、粗末で結果に基づく信号に依存している。
近年の研究では,高コストな外部モデルを必要としないステップレベルのガイダンスを提供することで,詳細なモデル固有の信号を提供することで,言語推論のトレーニングを効果的に向上することが示された。
一助文には有効であるが,この大域的な報酬を視覚言語推論(V-L)に適用することは準最適戦略である。
本稿では、報酬構造とタスクの不均一な性質を整合させることにより、この問題を解決するフレームワークであるパーセプション分解信頼回復(PDCR:Perception-Decomposed Confidence Reward)を提案する。
論文 参考訳（メタデータ） (2026-05-13T12:55:18Z) - Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering [0.0]
大規模言語モデル(LLM)の公衆衛生政策分野への統合は、疾病管理予防センター(CDC)などの機関が管理する規制ガイダンスの膨大なリポジトリをナビゲートするための変革的なアプローチを提供する。
LLMが幻覚を発生させることの正当性は、情報整合性が不可能なハイテイク環境において、これらの技術を採用する上で重要な障壁となる。
この経験的評価は、信頼できる文書コンテキストにおける生成出力を基盤として、これらのリスクを軽減するために、検索型拡張生成(RAG)アーキテクチャの有効性を探求するものである。
論文 参考訳（メタデータ） (2026-01-21T20:52:48Z) - Character-R1: Enhancing Role-Aware Reasoning in Role-Playing Agents via RLVR [67.66592867046229]
character-R1は効果的な役割認識推論のための検証可能な報酬信号を提供するために設計されたフレームワークである。
本フレームワークは,認知的フォーカス・リワード(Cognitive Focus Reward),参照ガイド・リワード(Reference-Guided Reward),文字指定リワード正規化( character-Conditioned Reward normalization)の3つのコア設計で構成されている。
論文 参考訳（メタデータ） (2026-01-08T05:33:37Z) - LLM-Assisted AHP for Explainable Cyber Range Evaluation [0.0]
サイバーレンジ(CR)は、サイバーセキュリティトレーニングと教育のための重要なプラットフォームとして登場した。
本稿では、ミッションクリティカルな設定を強調したCRの評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-11T10:07:15Z) - Unlocking the Essence of Beauty: Advanced Aesthetic Reasoning with Relative-Absolute Policy Optimization [63.169050703903515]
強化学習(RL)を用いた包括的審美的推論フレームワークAes-R1を提案する。
Aes-R1はパイプライン、AesCoTを統合し、高品質なチェーン・オブ・プリーティングデータの構築とフィルタリングを行う。
実験により、Aes-R1は背骨の平均PLCC/SRCCを47.9%/34.8%改善することが示された。
論文 参考訳（メタデータ） (2025-09-26T04:55:00Z) - Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model [23.56313087226691]
Affordance Groundingは、ロボットが実行するアクションに関連するオブジェクトの特定の領域を予測することに焦点を当てている。
既存のモデルは、しばしば異なるオブジェクト間で共有される余裕を無視する。
Affordance-R1は,認知的CoT誘導グループ相対的政策最適化を統合した,最初の統合型アプライアンス基盤フレームワークである。
論文 参考訳（メタデータ） (2025-08-08T10:39:04Z) - SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。
本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
論文 参考訳（メタデータ） (2025-06-26T18:00:07Z) - Ψ-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback [51.26493826461026]
大規模言語モデル(LLM)の総合的評価と最適化のための対話型フレームワークであるPsi-Arenaを提案する。
アリーナは、心理学的にプロファイルされたNPCクライアントとの多段階対話を通じて現実世界のカウンセリングをシミュレートする現実的なアリーナ相互作用を特徴としている。
8つの最先端のLLM実験は、異なる実世界のシナリオと評価の観点で大きなパフォーマンス変化を示す。
論文 参考訳（メタデータ） (2025-05-06T08:22:51Z) - A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。
フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。
D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
論文 参考訳（メタデータ） (2022-02-19T20:22:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。