論文の概要: A Multi-Agent Framework with Structured Reasoning and Reflective Refinement for Multimodal Empathetic Response Generation

• arxiv url: http://arxiv.org/abs/2604.18988v1
• Date: Tue, 21 Apr 2026 02:18:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.574425
• Title: A Multi-Agent Framework with Structured Reasoning and Reflective Refinement for Multimodal Empathetic Response Generation
• Title（参考訳）: マルチモーダル共感応答生成のための構造的推論と反射リファインメントを備えたマルチエージェントフレームワーク
• Authors: Liping Wang, Cheng Ye, Weidong Chen, Peipei Song, Bo Hu, Zhendong Mao,
• Abstract要約: マルチモーダル・共感応答生成(MERG)は,ユーザのマルチモーダル・コンテキストに基づいた感情的エンゲージメントと共感的反応を生成することを目的としている。 本稿では,MERGのためのマルチエージェントフレームワークを提案する。 我々のモデルは、最先端の手法と比較して、共感的な応答生成能力に優れています。
• 参考スコア（独自算出の注目度）: 29.68985191577323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal empathetic response generation (MERG) aims to generate emotionally engaging and empathetic responses based on users' multimodal contexts. Existing approaches usually rely on an implicit one-pass generation paradigm from multimodal context to the final response, which overlooks two intrinsic characteristics of MERG: (1) Human perception of emotional cues is inherently structured rather than a direct mapping. The conventional paradigm neglects the hierarchical progression of emotion perception, leading to distorted emotional judgments. (2) Given the inherent complexity and ambiguity of human emotions, the conventional paradigm is prone to significant emotional biases, ultimately resulting in suboptimal empathy. In this paper, we propose a multi-agent framework for MERG, which enhances empathy through structured reasoning and reflective refinement. Specifically, we first introduce a structured empathetic reasoning-to-generation module that explicitly decomposes response generation via multimodal perception, consistency-aware emotion forecasting, pragmatic strategy planning, and strategy-guided response generation, providing a clearer intermediate path from multimodal evidence to response realization. Besides, we develop a global reflection and refinement module, in which a global reflection agent performs step-wise auditing over intermediate states and the generated response, eliminating existing emotional biases and empathy errors, and triggering targeted regeneration. Overall, such a closed-loop framework enables our model to gradually improve the accuracy of emotion perception and eliminate emotion biases during the iteration process. Experiments on several benchmarks, e.g., IEMOCAP and MELD, demonstrate that our model has superior empathic response generation capabilities compared to state-of-the-art methods.
• Abstract（参考訳）: マルチモーダル・共感応答生成(MERG)は,ユーザのマルチモーダル・コンテキストに基づいた感情的エンゲージメントと共感的反応を生成することを目的としている。 既存のアプローチは通常、マルチモーダルな文脈から最終応答への暗黙的なワンパス生成パラダイムに依存しており、これはMERGの2つの本質的な特徴を見落としている。 従来のパラダイムは、感情知覚の階層的な進行を無視し、歪んだ感情判断につながる。 2) 人間の感情の複雑さとあいまいさを考えると, 従来のパラダイムは感情バイアスが顕著で, 究極的には準最適共感をもたらす。 本稿では,MERGのためのマルチエージェントフレームワークを提案する。 具体的には、まず、マルチモーダルな認識、一貫性を考慮した感情予測、実用的な戦略計画、戦略誘導型応答生成を通じて応答生成を明示的に分解し、マルチモーダルな証拠から応答実現までのより明確な中間経路を提供する。 さらに、グローバルリフレクション・リフレクション・モジュールを開発し、中間状態と生成された応答を段階的に監査し、既存の感情バイアスや共感エラーを排除し、ターゲットの再生を誘導する。 全体として、そのようなクローズドループフレームワークにより、我々のモデルは、反復過程における感情知覚の精度を徐々に改善し、感情バイアスを取り除くことができる。 いくつかのベンチマーク、例えばIEMOCAPやMELDの実験では、我々のモデルは最先端の手法と比較して共感的な応答生成能力が優れていることが示されている。

関連論文リスト

• EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models [62.3977734456669]
  マルチモーダル大規模言語モデル(MLLM)の感情的推論能力を高めるためのフレームワークとして,情緒的推論のための反射強化学習(EMO-R3)を提案する。 構造化された感情的思考を導入し、構造化された解釈可能な方法で段階的に感情的推論を行い、そのモデルが視覚的テキストの一貫性と感情的コヒーレンスに基づいてその推論を再評価できる反射的感情的回帰を設計する。 EMO-R3はMLLMの解釈可能性と感情的インテリジェンスの両方を大幅に改善し、複数の視覚的感情理解ベンチマークにおいて優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-02-27T08:42:52Z)
• Memory-guided Prototypical Co-occurrence Learning for Mixed Emotion Recognition [56.00118641432005]
  本稿では,感情共起パターンを明示的にモデル化するメモリ誘導型プロトタイプ共起学習フレームワークを提案する。 人間の認知記憶システムに触発されて,意味レベルの共起関係を抽出するメモリ検索戦略を導入する。 本モデルは感情分布予測のための感情情報表現を学習する。
  論文  参考訳（メタデータ） (2026-02-24T04:11:25Z)
• ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
  ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。 ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。 ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
  論文  参考訳（メタデータ） (2026-02-13T08:33:37Z)
• Reflecting Twice before Speaking with Empathy: Self-Reflective Alternating Inference for Empathy-Aware End-to-End Spoken Dialogue [53.95386201009769]
  音声対話における共感的品質を評価するための記述型自然言語ベース評価モデルであるEmpathyEvalを紹介する。 本稿では,共感的自己反射的交替推論機構を通じて共感的対話を強化する,エンドツーエンドの音声言語モデルであるReEmpathyを提案する。
  論文  参考訳（メタデータ） (2026-01-26T09:04:50Z)
• A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
  本稿では,感情的インテリジェンスのための統一言語モデルを提案する。 IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。 HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-01-08T14:07:30Z)
• Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier [53.55996102181836]
  本稿では,感情関係検証器 (ERV) と説明リワードを提案する。 本手法は,対象感情と明確に一致した推論をモデルに導出する。 我々のアプローチは、説明と予測の整合性を高めるだけでなく、MLLMが感情的に一貫性があり、信頼できる対話を実現するのにも役立ちます。
  論文  参考訳（メタデータ） (2025-10-27T16:40:17Z)
• ReflectDiffu:Reflect between Emotion-intent Contagion and Mimicry for Empathetic Response Generation via a RL-Diffusion Framework [5.135349405469574]
  共感応答生成のための軽量で包括的なフレームワークである ReflectDiffu を紹介する。 この枠組みは感情の伝染を組み込んで感情表現を増強し、感情表現マスクを用いて批判的な感情的要素を識別する。 探索・サンプリング・修正のメカニズムを2回反映することで、リフレクションディフューは感情的な意思決定を正確に意図の行動に変換する。
  論文  参考訳（メタデータ） (2024-09-16T13:56:17Z)
• CoMAE: A Multi-factor Hierarchical Framework for Empathetic Response Generation [41.28609999443215]
  共感的応答生成のためのマルチファクタ階層フレームワークであるCoMAEを提案する。 CoMAEベースのモデルが従来の方法よりも多くの共感応答を生成できることを実験的に示した。
  論文  参考訳（メタデータ） (2021-05-18T07:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。