論文の概要: ReH-FUSE: Reliability-Aware Hierarchical Fusion of Experts for Multimodal Emotion Recognition in Conversation
- arxiv url: http://arxiv.org/abs/2609.13857v1
- Date: Sat, 12 Sep 2026 10:19:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.586917
- Title: ReH-FUSE: Reliability-Aware Hierarchical Fusion of Experts for Multimodal Emotion Recognition in Conversation
- Title（参考訳）: ReH-FUSE:会話におけるマルチモーダル感情認識のための専門家の信頼性を考慮した階層的融合
- Abstract要約: マルチモーダル感情認識は、異なるエビデンスソースのインスタンス依存の信頼性に適応する必要がある。
ReH-FUSEは,対話型テキスト,音声,モーダル間の専門家を対象とする信頼性の高いフレームワークである。
- 参考スコア（独自算出の注目度）: 1.6389263804357965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal emotion recognition in conversation (ERC) requires adapting to the instance-dependent reliability of different evidence sources. Lexical content may be decisive, vocal expression may provide complementary cues, or accurate recognition may require cross-modal interaction; fixed fusion does not explicitly account for this variation. We propose ReH-FUSE, a reliability-aware framework with dialogue-aware text, audio, and cross-modal experts. Its decision-level router first models the relative preference between text and audio and then balances the resulting unimodal mixture against the cross-modal expert. This factorization separates unimodal competition from cross-modal selection. Across three independent runs on IEMOCAP, ReH-FUSE achieves 74.34% weighted F1 and 73.11% macro F1; on MELD, it achieves 68.03% weighted F1. Controlled ablations show that learned routing outperforms uniform expert averaging and benefits from cross-modal interaction.
- Abstract（参考訳）: 会話におけるマルチモーダル感情認識(ERC)は、異なるエビデンスソースのインスタンス依存の信頼性に適応する必要がある。
語彙内容は決定的、音声表現は相補的な手がかりを与えるかもしれないし、正確な認識は相互の相互作用を必要とするかもしれない。
ReH-FUSEは,対話型テキスト,音声,モーダル間の専門家を対象とする信頼性の高いフレームワークである。
その決定レベルルータは、まずテキストとオーディオの相対的な選好をモデル化し、その結果の非モード混合とクロスモーダルの専門家とのバランスをとる。
この分解は、単調な競争とクロスモーダルな選択を区別する。
IEMOCAP上の3つの独立した実行の中で、ReH-FUSEは74.34%の重み付きF1と73.11%のマクロF1を達成し、MELDでは68.03%の重み付きF1を達成している。
制御された改善は、学習したルーティングが一様の専門家よりも優れ、相互モーダル相互作用の恩恵を受けることを示している。
関連論文リスト
- Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。
SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。
実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
論文 参考訳（メタデータ） (2026-05-11T02:50:27Z) - To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。
我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
論文 参考訳（メタデータ） (2026-05-06T13:11:33Z) - SURE: Synergistic Uncertainty-aware Reasoning for Multimodal Emotion Recognition in Conversations [15.80542007124167]
会話におけるマルチモーダル感情認識(MERC)は、ノイズに頑健であり、文脈的推論をモデル化しながら、マルチモーダル信号を統合する必要がある。
我々は、堅牢性と文脈モデリングを改善するMERCのためのSURE(Synergistic Uncertainty-aware Reasoning)を提案する。
論文 参考訳（メタデータ） (2026-04-02T11:32:15Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - Feature-level Interaction Explanations in Multimodal Transformers [1.7101146971136896]
マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。
本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。
我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
論文 参考訳（メタデータ） (2026-03-04T18:24:31Z) - A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations [24.302280709646563]
会話における感情認識(ERC)における2つの課題を分離するために,感情認識のためのモジュール型Mixture-of-Experts(MiSTER-E)フレームワークを提案する。
MiSTER-Eは、音声とテキストの両方に微調整された大きな言語モデル(LLM)を活用し、リッチな発話レベルの埋め込みを提供する。
このシステムは、専門家のみ、テキストのみ、学習したゲーティングメカニズムを横断的に使用する3つの予測を統合している。
論文 参考訳（メタデータ） (2026-02-26T18:08:40Z) - Qieemo: Speech Is All You Need in the Emotion Recognition in Conversations [1.0690007351232649]
マルチモーダルアプローチは多様なモダリティの融合による恩恵を受け、認識精度が向上する。
提案するQieemoフレームワークは,自然なフレームアライメントと感情的特徴を含む事前学習された自動音声認識(ASR)モデルを効果的に活用する。
IEMOCAPデータセットの実験結果は、Qieemoがそれぞれ3.0%、1.2%、および1.9%の絶対的な改善でベンチマークアンモダル、マルチモーダル、セルフ教師付きモデルを上回っていることを示している。
論文 参考訳（メタデータ） (2025-03-05T07:02:30Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。