論文の概要: ECMF: Enhanced Cross-Modal Fusion for Multimodal Emotion Recognition in MER-SEMI Challenge

• arxiv url: http://arxiv.org/abs/2508.05991v1
• Date: Fri, 08 Aug 2025 03:55:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.068555
• Title: ECMF: Enhanced Cross-Modal Fusion for Multimodal Emotion Recognition in MER-SEMI Challenge
• Title（参考訳）: ECMF:MER-SEMIチャレンジにおけるマルチモーダル感情認識のためのクロスモーダルフュージョンの強化
• Authors: Juewen Hu, Yexin Li, Jiulin Li, Shuo Chen, Pring Wong,
• Abstract要約: 我々は,MER2025コンペティションにおけるMER-SEMI課題に,新しいマルチモーダル感情認識フレームワークを提案する。 大規模事前学習モデルを用いて視覚、音声、テキストのモダリティから情報的特徴を抽出する。 提案手法は,MER2025-SEMIデータセットのオフィシャルベースラインに対して,大幅な性能向上を実現する。
• 参考スコア（独自算出の注目度）: 5.217410271468519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotion recognition plays a vital role in enhancing human-computer interaction. In this study, we tackle the MER-SEMI challenge of the MER2025 competition by proposing a novel multimodal emotion recognition framework. To address the issue of data scarcity, we leverage large-scale pre-trained models to extract informative features from visual, audio, and textual modalities. Specifically, for the visual modality, we design a dual-branch visual encoder that captures both global frame-level features and localized facial representations. For the textual modality, we introduce a context-enriched method that employs large language models to enrich emotional cues within the input text. To effectively integrate these multimodal features, we propose a fusion strategy comprising two key components, i.e., self-attention mechanisms for dynamic modality weighting, and residual connections to preserve original representations. Beyond architectural design, we further refine noisy labels in the training set by a multi-source labeling strategy. Our approach achieves a substantial performance improvement over the official baseline on the MER2025-SEMI dataset, attaining a weighted F-score of 87.49% compared to 78.63%, thereby validating the effectiveness of the proposed framework.
• Abstract（参考訳）: 感情認識は、人間とコンピュータの相互作用を強化する上で重要な役割を担っている。 本研究では,MER2025コンペティションにおけるMER-SEMI課題に対して,新しいマルチモーダル感情認識フレームワークを提案する。 データ不足の問題に対処するため、大規模事前学習モデルを用いて視覚、音声、テキストのモダリティから情報的特徴を抽出する。 具体的には、視覚的モダリティのために、グローバルフレームレベルの特徴と局所的な顔表現の両方をキャプチャするデュアルブランチ・ビジュアルエンコーダを設計する。 テキストのモダリティについて,入力テキスト内の感情的手がかりを豊かにするために,大規模言語モデルを用いた文脈拡張手法を提案する。 これらのマルチモーダル特徴を効果的に統合するために,動的モーダル重み付けのための自己注意機構と,元の表現を保存するための残差接続という,2つの重要な要素からなる融合戦略を提案する。 アーキテクチャ設計以外にも、マルチソースラベリング戦略によるトレーニングセットにおいて、ノイズの多いラベルをさらに洗練します。 提案手法は,MER2025-SEMIデータセットの公式ベースラインに対して,78.63%に対して87.49%の重み付きFスコアを達成し,提案フレームワークの有効性を検証した。

関連論文リスト

• Sync-TVA: A Graph-Attention Framework for Multimodal Emotion Recognition with Cross-Modal Fusion [7.977094562068075]
  そこで我々は,モダリティ特異的な動的拡張と構造的クロスモーダル融合を特徴とする,エンドツーエンドのグラフアテンションフレームワークSync-TVAを提案する。 本設計では,モダリティごとに動的拡張モジュールを組み込んで,テキスト,音声,視覚的特徴間の意味関係をモデル化する異質なクロスモーダルグラフを構築している。 MELDとIEMOCAPの実験では、特にクラス不均衡条件下では、精度と重み付けされたF1スコアの両方において、最先端モデルに対する一貫した改善が示されている。
  論文  参考訳（メタデータ） (2025-07-29T00:03:28Z)
• Qieemo: Speech Is All You Need in the Emotion Recognition in Conversations [1.0690007351232649]
  マルチモーダルアプローチは多様なモダリティの融合による恩恵を受け、認識精度が向上する。 提案するQieemoフレームワークは,自然なフレームアライメントと感情的特徴を含む事前学習された自動音声認識(ASR)モデルを効果的に活用する。 IEMOCAPデータセットの実験結果は、Qieemoがそれぞれ3.0%、1.2%、および1.9%の絶対的な改善でベンチマークアンモダル、マルチモーダル、セルフ教師付きモデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-03-05T07:02:30Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• DualKanbaFormer: An Efficient Selective Sparse Framework for Multimodal Aspect-based Sentiment Analysis [0.6187939267100836]
  マルチモーダル解析のための並列テキストおよびVisual KanbaFormerモジュールを利用する新しいフレームワークであるDual KanbaFormerを紹介する。 当社のアプローチでは、アスペクト指向スパース注意(ADSA)を導入して、粗粒度の凝集とアスペクト指向の精度のためのきめ細かい選択のバランスを取る。 従来のフィードフォワードネットワークと正規化をKAN(Kolmogorov-Arnold Networks)とDyT(Dynamic Tanh)に置き換え、非線形表現性と推論安定性を向上させる。
  論文  参考訳（メタデータ） (2024-08-27T19:33:15Z)
• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Hierarchical Audio-Visual Information Fusion with Multi-label Joint Decoding for MER 2023 [51.95161901441527]
  本稿では,離散的感情と次元的感情の両方を認識するための新しい枠組みを提案する。 基礎モデルから抽出した深い特徴は、生ビデオの頑健な音響的および視覚的表現として使用される。 我々の最終システムは最先端のパフォーマンスを達成し、MER-MULTIサブチャレンジのリーダーボードで3位にランクインする。
  論文  参考訳（メタデータ） (2023-09-11T03:19:10Z)
• Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers [5.538923337818467]
  最先端のシステムでは、言語間の設定でパフォーマンスが向上することができない。 言語間SERを改善するためのマルチモーダルデュアルアテンショントランスモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-23T22:38:32Z)
• A cross-modal fusion network based on self-attention and residual structure for multimodal emotion recognition [7.80238628278552]
  マルチモーダル感情認識のための自己注意構造と残像構造(CFN-SR)に基づく新たなクロスモーダル融合ネットワークを提案する。 提案手法の有効性を検証するため,RAVDESSデータセットを用いて実験を行った。 実験結果から,提案したCFN-SRは最先端技術を実現し,精度が75.76%,パラメータが26.30Mであることが確認された。
  論文  参考訳（メタデータ） (2021-11-03T12:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。