Fugu-MT 論文翻訳(概要): Multimodal Emotion Recognition in Conversations via Class-Wise Adaptive Modality Fusion and Affective Geometry

論文の概要: Multimodal Emotion Recognition in Conversations via Class-Wise Adaptive Modality Fusion and Affective Geometry

arxiv url: http://arxiv.org/abs/2609.09924v1
Date: Wed, 09 Sep 2026 09:15:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.96437
Title: Multimodal Emotion Recognition in Conversations via Class-Wise Adaptive Modality Fusion and Affective Geometry
Title（参考訳）: クラスワイズ適応モード融合と影響幾何学による会話におけるマルチモーダル感情認識
Abstract要約: 会話における感情認識(ERC)は、異種テキスト、音声、視覚的手がかりを統合する必要がある。外観+幾何学的視覚表現を備えたERC用自己蒸留変換器アーキテクチャを拡張した。顔の構造的手がかり,感情依存的モダリティ重み付け,感情的幾何がマルチモーダルERCに相補的利益をもたらすことを示す。
参考スコア（独自算出の注目度）: 6.277600862372743
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Emotion Recognition in Conversations (ERC) requires integrating heterogeneous textual, audio, and visual cues while accounting for conversational context and emotional dynamics. We extend the Self-Distillation Transformer architecture for ERC with appearance+geometry visual representations, class-wise adaptive modality fusion, and a valence-arousal prior for affective transitions. On the MELD and IEMOCAP datasets, geometry-enhanced visual representations improve weighted F1 by 0.27 and 4.36 points over appearance-only features, respectively, while class-wise adaptive fusion provides further gains of 0.17 and 0.25 points over the original softmax gate. The valence-arousal prior yields targeted improvements of 0.30 and 0.74 accuracy points on emotionally shifted utterances while preserving performance on stable turns. These results indicate that structured facial cues, emotion-dependent modality weighting, and affective geometry provide complementary benefits for multimodal ERC.
Abstract（参考訳）: 会話における感情認識(Emotion Recognition in Conversations、ERC)は、会話の文脈や感情のダイナミクスを考慮に入れながら、異種テキスト、音声、視覚的手がかりを統合する必要がある。本研究では,ERCの自己蒸留トランスフォーマーアーキテクチャを拡張し,外見+幾何学的視覚表現,クラスワイド適応型モーダル融合,感情遷移に先立つ原子価-覚醒的事前処理を行う。 MELDとIEMOCAPのデータセットでは、幾何学的に強化された視覚表現は外観のみの特徴よりもF1の重み付けを0.27と4.36ポイント改善し、クラスワイド適応融合は元のソフトマックスゲートよりも0.17と0.25ポイント向上した。価-覚醒先行収量は、安定な旋回における性能を維持しつつ、感情移りの発話に対する0.30と0.74の精度ポイントの改善を目標とした。これらの結果は, 顔の構造的手がかり, 感情依存的モダリティ重み付け, 情緒的幾何がマルチモーダルERCに相補的利益をもたらすことを示唆している。

関連論文リスト

ProCA: Progressive Contrastive Alignment for Robust EEG Visual Decoding [47.35612571473169]
EEGビジュアルデコーディングは、非侵襲的な神経時系列信号から視覚的セマンティクスを回復することを目的としている。既存の手法は固定された視覚的あるいはテキスト的アンカーに依存しており、その意味的関係は、試行錯誤、主題、学習段階によって異なる脳波表現と一致している可能性がある。本稿では,適応型ニューラル・セマンティックアライメントのための統一的でモデルに依存しないフレームワークであるProgressive Contrastive Alignment(ProCA)を提案する。
論文参考訳（メタデータ） (2026-09-04T12:48:25Z)
Enhancing Multimodal Emotion Recognition via Multi-Feature Encoding and Attention-Based Fusion [5.740228163421595]
本稿では,新しいマルチモーダル感情認識フレームワークを提案する。リッチなオーディオと視覚的特徴抽出と、注意に基づく融合戦略を統合している。提案手法は, 多様な感情的手がかりを音声や視覚的表現から効果的にとらえることが示唆された。
論文参考訳（メタデータ） (2026-09-04T03:40:16Z)
LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition [51.70817823155725]
顔表情認識のための視覚言語強化型ランドマーク誘導型コントラスト学習ネットワーク(FER)を提案する。 LaCoVL-FERは、顔のランドマークと視覚言語モデルからのセマンティックな事前情報を統合する。実験により、LaCoVL-FERは3つの代表的な実世界のFERデータセット上で最先端のメソッドより優れていることが示された。
論文参考訳（メタデータ） (2026-05-19T13:15:41Z)
Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation [63.90351637818903]
音声保存表情操作は、本来の音声に結びついた口の動きを変えることなく、人間の表現力を高めることを目的としている。現在のVisual-Language Models (VLM)は、整列した視覚的特徴と意味的特徴を抽出し、将来的な監視の源となる。 VLMをベースとしたパーソナライズされたクロスモーダル感情相関学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2026-04-28T06:02:23Z)
SELF-EMO: Emotional Self-Evolution from Recognition to Consistent Expression [13.896538941019722]
より優れた感情予測がより一貫性のある感情応答をもたらすという仮説に基づく自己進化フレームワークであるSELF-EMOを提案する。本稿では、感情理解と感情表現という2つの補助的タスクを導入し、モデルが感情認識と対話応答の両方として機能するロールベースのセルフプレイパラダイムを設計する。 IEMOCAP、MELD、エモリーNLPの実験により、SELF-EMOは最先端の性能を達成し、Qwen3-4Bでは+6.33%、Qwen3-8Bでは+8.54%の精度が向上した。
論文参考訳（メタデータ） (2026-04-20T09:27:40Z)
Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling [2.8037951156321377]
本稿では,第10回ABAWチャレンジにおける表現課題に対するマルチモーダル感情認識フレームワークを提案する。本フレームワークは,視覚および音声表現学習のための大規模事前学習モデルを構築し,それらを統合マルチモーダルアーキテクチャに統合する。 ABAW 10th EXPRベンチマークの実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2026-03-12T14:20:29Z)
EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis [36.831497786147864]
EmoSteerレイヤを組み込んだ軽量なアクティベーションステアリングフレームワークであるEmoShiftを提案する。 EmoShiftは出力埋め込み空間内の各ターゲット感情に対するステアリングベクトルを学習し、その潜在オフセットをキャプチャし、安定した適切な表現を維持する。完全な微調整の1/30未満のトレーニング可能なパラメータは10Mに過ぎず、EmoShiftはゼロショットと完全に微調整されたベースラインを客観的および主観的な評価で上回っている。
論文参考訳（メタデータ） (2026-01-30T11:50:23Z)
Multi-Loss Learning for Speech Emotion Recognition with Energy-Adaptive Mixup and Frame-Level Attention [27.15999842662482]
音声感情認識(SER)は人間とコンピュータの相互作用において重要な技術である。本稿では、EAM(Energy-Adaptive Mixup)法とFLAM(Flight-level attention module)法を統合したマルチロス学習フレームワークを提案する。提案手法は,IEMOCAP, MSP-IMPROV, RAVDESS, SAVEEの4種類のSERデータセットを用いて評価を行った。
論文参考訳（メタデータ） (2025-12-04T08:04:45Z)
CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations [52.251569042852815]
CRIAは、可変長および可変チャネルコーディングを使用して、異なるデータセット間でEEGデータの統一表現を実現する適応フレームワークである。このモデルでは、時間的、スペクトル的、空間的特徴を効果的に融合させるクロスアテンション機構を採用している。テンプル大学脳波コーパスとCHB-MITデータセットによる実験結果から、CRIAは既存の方法よりも、同じ事前学習条件で優れていることが示された。
論文参考訳（メタデータ） (2025-06-19T06:31:08Z)
EmoSphere-SER: Enhancing Speech Emotion Recognition Through Spherical Representation with Auxiliary Classification [49.128847336227636]
EmoSphere-SERは球面VAD領域の分類を統合してVAD回帰を導出するジョイントモデルである。本フレームワークでは,VAD値を複数の球面領域に分割した球面座標に変換し,各点がどの球面領域に属しているかを予測する。
論文参考訳（メタデータ） (2025-05-26T08:50:23Z)
MAVEN: Multi-modal Attention for Valence-Arousal Emotion Network [6.304608172789466]
The proposed Multi-modal Attention for Valence-Arousal Emotion Network (MAVEN) integrates visual, audio, and textual modalities。 MAVENは、モダリティ固有のエンコーダを使用して、同期化されたビデオフレーム、オーディオセグメント、および書き起こしから特徴を抽出する。このアーキテクチャは、会話ビデオにおける感情表現の微妙で過渡的な性質を捉え、現実の状況における感情認識を改善する。
論文参考訳（メタデータ） (2025-03-16T19:32:32Z)
Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文参考訳（メタデータ） (2024-11-08T04:53:55Z)
Static for Dynamic: Towards a Deeper Understanding of Dynamic Facial Expressions Using Static Expression Data [85.71013961405036]
本稿では,DFERの補完リソースとしてSFERデータを統合した統合型デュアルモーダル学習フレームワークを提案する。 S4Dは、共有トランスフォーマー(ViT)エンコーダデコーダアーキテクチャを用いて、顔画像とビデオに対して、デュアルモーダルな自己教師付き事前トレーニングを採用する。実験により、S4DはDFERをより深く理解し、新しい最先端のパフォーマンスを設定できることが示された。
論文参考訳（メタデータ） (2024-09-10T01:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。