論文の概要: EmAvatar: Multimodal Empathetic Response Generation via Conflict Resolution and Expressive Guidance

• arxiv url: http://arxiv.org/abs/2609.38182v1
• Date: Tue, 04 Aug 2026 09:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.285043
• Title: EmAvatar: Multimodal Empathetic Response Generation via Conflict Resolution and Expressive Guidance
• Title（参考訳）: EmAvatar: 矛盾解消と表現誘導によるマルチモーダル共感応答生成
• Abstract要約: EmAvatarは、正確な感情知覚と表現的応答生成のための新しいフレームワークである。 まず、モーダル間予測競合を露呈して、熟考的マルチモーダル感情認識を行う。 次に、コンフリクトインスペクタとエビデンスコレクタ間の複数ラウンドのQAプロセスを開始し、コンフリクト解決の証拠を収集する。
• 参考スコア（独自算出の注目度）: 61.748404482769985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Avatar-based multimodal empathetic response generation has emerged as a pivotal capability in human-centric systems, aiming to recognize user emotions and synthesize responses with synchronized text, audio, and talking-face video. Despite recent progress, existing methods still suffer from three critical limitations: (1) overlooking conflicting emotions across modalities, (2) lacking explicit multimodal synthesis guidance, and (3) neglecting inherent error propagation of multimodal response generation. To address these limitations, we propose EmAvatar, a novel framework for precise emotion perception and expressive response generation. It first performs deliberative multimodal emotion recognition by exposing inter-modal prediction conflicts and then initiates a multi-round QA process between a Conflict Inspector and an Evidence Collector to gather evidence for conflict resolution, leading to a robust, evidence-aware prediction. Regarding response generation, EmAvatar first synthesizes a composite script that couples the textual response with an expressive instruction. Moreover, to ensure high-quality synthesis, an iterative refinement mechanism evaluates and revises the script until it aligns with predefined criteria, serving as reliable guidance for subsequent audio and video synthesis. Extensive experiments across four tasks demonstrate that EmAvatar outperforms state-of-the-art methods. Our code will be publicly released.
• Abstract（参考訳）: アバターをベースとしたマルチモーダルな共感応答生成は、ユーザの感情を認識し、同期されたテキスト、音声、音声で応答を合成することを目的として、人間中心のシステムにおいて重要な機能として登場した。 近年の進歩にもかかわらず、既存の手法は、(1)モダリティ間の矛盾する感情を見渡すこと、(2)明示的なマルチモーダル合成指導を欠くこと、(3)マルチモーダル応答生成の固有のエラー伝播を無視すること、の3つの重要な限界に悩まされている。 これらの制約に対処するために,感情の正確な知覚と表現的応答生成のための新しいフレームワークであるEmAvatarを提案する。 まず、モーダル間予測の矛盾を露呈し、紛争調査官とエビデンスコレクターの間の多ラウンドQAプロセスを開始し、紛争解決の証拠を収集し、堅牢でエビデンス対応の予測をもたらす。 応答生成に関して、EmAvatarはまず、テキスト応答と表現的命令を結合する複合スクリプトを合成する。 さらに、高品質な合成を保証するため、反復改良機構は、事前定義された基準に適合するまでスクリプトを評価し、修正し、その後のオーディオおよびビデオ合成のための信頼性の高いガイダンスとして機能する。 4つのタスクにわたる大規模な実験は、EmAvatarが最先端の手法より優れていることを示した。 私たちのコードは公開されます。

関連論文リスト

• Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence [33.92034255598876]
  視覚応答を生成するオムニモード対話フレームワークである textbfEx-Omni-2D を導入する。 このモデルは、シーン、感情、動きを記述した構造化されたtextitVisual Thought Plan (VTP) を予測し、その後に応答テキストとネイティブなマルチコードブック音声ユニットが続く。
  論文  参考訳（メタデータ） (2026-08-11T09:37:11Z)
• Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition [56.650820426231284]
  マルチモーダル感情認識は、人間の感情状態を理解するためにテキスト、音声、ビデオソースを統合することを目的としている。 大規模言語モデルは多モーダル推論において優れているが、感情カテゴリーを独立したラベルとして扱うのが一般的である。 本稿では,bftextHyperEmo-RAGを提案する。
  論文  参考訳（メタデータ） (2026-05-16T10:04:48Z)
• A Multi-Agent Framework with Structured Reasoning and Reflective Refinement for Multimodal Empathetic Response Generation [29.68985191577323]
  マルチモーダル・共感応答生成(MERG)は,ユーザのマルチモーダル・コンテキストに基づいた感情的エンゲージメントと共感的反応を生成することを目的としている。 本稿では,MERGのためのマルチエージェントフレームワークを提案する。 我々のモデルは、最先端の手法と比較して、共感的な応答生成能力に優れています。
  論文  参考訳（メタデータ） (2026-04-21T02:18:18Z)
• ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
  ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。 ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。 ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
  論文  参考訳（メタデータ） (2026-02-13T08:33:37Z)
• Emotion-LLaMAv2 and MMEVerse: A New Framework and Benchmark for Multimodal Emotion Understanding [45.13650362585136]
  Emotion-LLaMAv2 と MMEVerse のベンチマークを行い、感情認識と推論のための標準化された評価設定とともにエンドツーエンドのパイプラインを構築した。 エンドツーエンドのマルチビューエンコーダは、外部顔検出を排除し、よりリッチな空間的および時間的マルチビュートークンを介して、ニュアンス化された感情的手がかりをキャプチャする。 LLaMA2バックボーン内における認識と認識のカリキュラムのチューニングスキームは、感情認識と自由形式の感情推論を統一する。
  論文  参考訳（メタデータ） (2026-01-23T05:02:43Z)
• MAViD: A Multimodal Framework for Audio-Visual Dialogue Understanding and Generation [59.23161833385837]
  音声対話理解・生成のための新しいマルチモーダルフレームワークMAViDを提案する。 本フレームワークは,ユーザのマルチモーダルクエリを正確に解釈し,鮮明かつコンテキスト的にコヒーレントなロングデュレーション対話を生成できる。
  論文  参考訳（メタデータ） (2025-12-02T18:55:53Z)
• Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
  本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。 具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。 我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
  論文  参考訳（メタデータ） (2025-08-20T02:16:52Z)
• Multimodal Emotion Recognition and Sentiment Analysis in Multi-Party Conversation Contexts [3.8776851334100644]
  本稿では、よく知られたデータセット上でこれらの課題に取り組むためのマルチモーダルアプローチを提案する。 本稿では,テキスト用RoBERTa,音声用Wav2Vec2,表情用FacialNet,ビデオ解析用CNN+Transformerアーキテクチャの4つの重要なモダリティ/チャネルを統合するシステムを提案する。
  論文  参考訳（メタデータ） (2025-03-09T23:14:19Z)
• Dilated Context Integrated Network with Cross-Modal Consensus for Temporal Emotion Localization in Videos [128.70585652795637]
  TELは、時間的行動の局所化と比較して3つのユニークな課題を提示している。 感情は時間的ダイナミクスが非常に多様である。 微粒な時間的アノテーションは複雑で、労働集約的です。
  論文  参考訳（メタデータ） (2022-08-03T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。