論文の概要: Affect-Prototype Guided Fusion for Open-Vocabulary Incomplete Multi-modal Emotion Recognition

• arxiv url: http://arxiv.org/abs/2609.16962v1
• Date: Tue, 15 Sep 2026 10:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.460349
• Title: Affect-Prototype Guided Fusion for Open-Vocabulary Incomplete Multi-modal Emotion Recognition
• Title（参考訳）: オープンボキャブラリ不完全マルチモーダル感情認識のためのAffect-Prototype Guided Fusion
• Abstract要約: オープン語彙マルチモーダル感情認識(OV-MER)は、マルチモーダル感情の手がかりからオープンな自然言語感情ラベルを生成することを目的としている。 既存のOV-MER法は主に全モード入力用に設計されており、モード不足条件下では効果的な機能融合を行えない。 本稿では,不完全なオープン語彙感情認識のためのAffect-Prototype-Conditioned Fusionフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.230570826515388
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Open-vocabulary multimodal emotion recognition (OV-MER) aims to generate open natural-language emotion labels from multimodal affective cues. In real-world scenarios, however, complete and synchronized modal data are difficult to obtain due to limitations of acquisition devices and user privacy constraints. Existing OV-MER methods are largely designed for full-modal inputs, and fail to perform effective feature fusion under modal missing conditions. Meanwhile, current fusion approaches designed for incomplete modalities mainly focus on fixed-label recognition context, and cannot satisfy the demand for fuse emotional cues guided with arbitrary emotion semantics in OV-MER context. To tackle these challenges, this paper proposes an Affect-Prototype-Conditioned Fusion (APCF) framework for incomplete open-vocabulary emotion recognition. As a candidate-free generative framework, APCF extends modal contribution learning to scenarios guided by arbitrary emotional semantics. Specifically, we construct an affect-prototype library to explicitly model multimodal contribution characteristics corresponding to diverse emotions, which provides dynamic constraints for modal fusion under different emotional semantic perspectives. Conditional retrieval and feature aggregation are conducted based on available modal features. The refined fused affective representations are then fed into an LLM decoder to produce open-vocabulary emotion labels. Experiments on the OV-MERD+ and MER-FG datasets demonstrate that APCF substantially outperforms state-of-the-art baselines.
• Abstract（参考訳）: オープン語彙マルチモーダル感情認識(OV-MER)は、マルチモーダル感情の手がかりからオープンな自然言語感情ラベルを生成することを目的としている。 しかし,実世界のシナリオでは,取得装置の制限やユーザのプライバシー制約のため,完全かつ同期化されたモーダルデータは入手が困難である。 既存のOV-MER法は主に全モード入力用に設計されており、モード不足条件下では効果的な機能融合を行えない。 一方、不完全なモダリティのために設計された現在の融合アプローチは、主に固定ラベル認識コンテキストに焦点を当てており、OV-MERコンテキストにおける任意の感情的意味論で導かれるフューズ感情的手がかりの要求を満たすことができない。 これらの課題に対処するために,不完全なオープン語彙感情認識のためのAffect-Prototype-Conditioned Fusion (APCF) フレームワークを提案する。 候補のない生成フレームワークとして、APCFは任意の感情的意味論によって導かれるシナリオにモーダルコントリビューション学習を拡張する。 具体的には、感情の多様さに対応するマルチモーダルコントリビューション特性を明示的にモデル化するための感情プロトタイプライブラリを構築し、異なる感情的セマンティック視点下でのモーダルフュージョンに対する動的制約を提供する。 条件付き検索と特徴集約は、利用可能なモーダル特徴に基づいて行われる。 精製された融合された感情表現はLLMデコーダに入力され、オープン語彙感情ラベルを生成する。 OV-MERD+とMER-FGデータセットの実験は、APCFが最先端のベースラインを大幅に上回ることを示した。

関連論文リスト

• EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation [51.04910642896281]
  会話におけるマルチモーダル感情認識(MERC)は、対話に多モーダル情報と文脈情報を統合することで正確な予測を行う。 現在のMERCアプローチは、情動シフトにおける文脈的感情的慣性の影響を見落とし、準最適パフォーマンスをもたらす。 本研究では, 時間的ウィンドウ内に慣性の影響のあるサンプルを構築することで, コントラスト学習モジュール (EII-SCL) を提案する。
  論文  参考訳（メタデータ） (2026-07-19T18:09:54Z)
• EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation [58.055014746373054]
  マルチモーダル感情認識のための明確な不確実性監視フレームワークであるEmoEUSを提案する。 EmoEUSは、学習された分散推定を用いてモダリティを動的に重み付けすることで、不確実性を考慮したマルチモーダル融合を行う。 IEMOCAPとMELDの実験は、EmoEUSが最先端の手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-19T18:09:22Z)
• AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
  LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。 本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。 AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
  論文  参考訳（メタデータ） (2026-04-14T13:49:19Z)
• Federated Dialogue-Semantic Diffusion for Emotion Recognition under Incomplete Modalities [13.098852116759929]
  モダリティ回復のためのFedDISC(Federated Dialogue-guided and Semantic-Consistent Diffusion)フレームワークを提案する。 FedDISCは、クライアントで訓練されたモダリティ固有の拡散モデルの連合集約によって、モダリティ完全性への単一サイクル依存を克服する。 IEMOCAP、CMUMOSI、CMUMOSEIデータセットの実験は、FedDISCが様々な欠落したモダリティパターンに対して優れた感情分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-11-01T01:00:06Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• DRKF: Decoupled Representations with Knowledge Fusion for Multimodal Emotion Recognition [5.765485747592163]
  マルチモーダル感情認識のための解答表現と知識融合(DRKF)手法を提案する。 DRKFは、最適化表現学習(ORL)モジュールと知識融合(KF)モジュールの2つの主要なモジュールで構成されている。 実験の結果, DRKFはIEMOCAP, MELD, M3ED上でのSOTA(State-of-the-art)性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-08-03T08:05:57Z)
• Leveraging Label Potential for Enhanced Multimodal Emotion Recognition [6.725011823614421]
  マルチモーダル感情認識(MER)は、感情状態を正確に予測するために様々なモダリティを統合する。 本稿では,この制限を克服するために,ラベル信号誘導マルチモーダル感情認識(LSGMER)と呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2025-04-07T15:00:34Z)
• Unimodal-driven Distillation in Multimodal Emotion Recognition with Dynamic Fusion [17.228350098145803]
  会話におけるマルチモーダル感情認識(MERC)は、テキスト、音声、ビデオ間で感情状態を認識する。 既存の方法は、クロスモーダルな統合のために直接不均一なモーダル融合を強調するが、多モーダル学習における不向きさに悩まされることが多い。 階層的クロスモーダルフュージョンと対話的知識蒸留によるエキスパートの混合を利用した新しいフレームワークであるSUMMERを提案する。 IEMOCAPとMELDの実験では、SUMMERは最先端の手法、特にマイノリティとセマンティックに類似した感情の認識において優れていた。
  論文  参考訳（メタデータ） (2025-03-31T04:43:10Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition [7.147235324895931]
  本稿では,より情報に富んだマルチモーダル表現を学習する階層型グラフネットワーク(HFGCN)モデルを提案する。 具体的には,2段階グラフ構築手法を用いてマルチモーダル入力を融合し,モダリティ依存性を会話表現にエンコードする。 実験により,より正確なAERモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-15T08:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。