論文の概要: MVFA: A Multi-View Text-Guided Multimodal Fusion LLM Adapter for Sentiment Analysis and Emotion Recognition

• arxiv url: http://arxiv.org/abs/2609.06188v1
• Date: Sat, 05 Sep 2026 17:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.215991
• Title: MVFA: A Multi-View Text-Guided Multimodal Fusion LLM Adapter for Sentiment Analysis and Emotion Recognition
• Title（参考訳）: MVFA:感性分析と感情認識のための多視点テキストガイド型マルチモーダルフュージョンLLMアダプタ
• Abstract要約: 本稿では,マルチビューテキスト誘導型マルチモーダルフュージョンアダプタ(MVFA)を提案する。 MVFAは、CH-SIMS V2.0、MELD、CHERMAの3つの挑戦的なデータセットで評価されている。 キーメトリクスの最先端のパフォーマンスを実現し、少数のパラメータだけを更新する。
• 参考スコア（独自算出の注目度）: 104.40097283944003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal sentiment analysis and emotion recognition in conversations demand effective modeling of heterogeneous interactions across textual, acoustic, and visual modalities. Although large language models (LLMs) offer powerful language understanding, adapting them to multimodal affective computing remains challenging: full-model fine-tuning is computationally prohibitive, while many existing lightweight adapters fail to preserve rich textual cues during cross-modal fusion. To address these limitations, we propose the multi-view text-guided multimodal fusion adapter (MVFA), a parameter-efficient framework that augments frozen LLMs with strong multimodal reasoning capability. MVFA first constructs complementary text views via max pooling, mean pooling, and attention pooling; these views then guide cross-modal interactions with audio and visual features. The fused multimodal representations are subsequently compressed into a compact set of learnable pseudo-tokens through an Enhanced Q-Former Fusion Module. Using ChatGLM3-6B-base as the primary backbone, we further validate MVFA on LLaMA2-7B and Qwen3-8B to examine its portability across multiple frozen LLM backbones. MVFA is evaluated on three challenging datasets: CH-SIMS V2.0, MELD, and CHERMA. Experimental results demonstrate that MVFA achieves state-of-the-art performance on key metrics while updating only a small fraction of parameters. Specifically, it attains 84.62\% Acc2 and 84.59\% F1 on CH-SIMS V2.0, 67.36\% Acc and 66.03\% WF1 on MELD, and 74.66\% Acc on CHERMA. These findings establish multi-view text-guided fusion as an effective and scalable paradigm for parameter-efficient multimodal LLM adaptation in affective computing. The code is publicly available at https://github.com/Overwhelm1208/MVFA.
• Abstract（参考訳）: 会話におけるマルチモーダル感情分析と感情認識は、テキスト、音響、視覚的モダリティ間の異種相互作用を効果的にモデル化することを要求する。 大規模言語モデル(LLM)は強力な言語理解を提供するが、それらをマルチモーダルな感情コンピューティングに適用することは依然として困難である。 これらの制約に対処するため,マルチビューテキスト誘導型マルチモーダル融合アダプタ (MVFA) を提案する。 MVFAはまず、最大プーリング、平均プーリング、アテンションプーリングを通じて補完的なテキストビューを構築する。 融合マルチモーダル表現はその後、拡張Q-Former Fusion Moduleを通して学習可能な擬トーケンのコンパクトなセットに圧縮される。 一次バックボーンとしてChatGLM3-6B塩基を用い,LLaMA2-7BおよびQwen3-8B上でのMVFAの可搬性について検討した。 MVFAは、CH-SIMS V2.0、MELD、CHERMAの3つの挑戦的なデータセットで評価されている。 実験の結果,MVFAは,少数のパラメータのみを更新しながら,キーメトリクスの最先端性能を実現することがわかった。 具体的には、CH-SIMS V2.0では84.62\% Acc2、84.59\% F1、MELDでは67.36\% Acc、66.03\% WF1、CHERMAでは74.66\% F1に達する。 これらの結果から,マルチビューテキスト誘導融合は,感情コンピューティングにおけるパラメータ効率のよいマルチモーダルLLM適応のための,効果的かつスケーラブルなパラダイムとして確立された。 コードはhttps://github.com/Overwhelm1208/MVFAで公開されている。

関連論文リスト

• VLMT: Vision-Language Multimodal Transformer for Multimodal Multi-hop Question Answering [8.21219588747224]
  本稿では,視覚エンコーダとシーケンス・ツー・シーケンス言語モデルを統合する統一アーキテクチャであるVLMTについて述べる。 VLMTは直接トークンレベルの注入機構を使用して、共有埋め込み空間内で視覚的およびテキスト的入力を融合する。 2つのベンチマークデータセットに関する総合的な実験は、提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-04-11T05:51:44Z)
• MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion [43.725594356981254]
  視覚と音声の両モードからテキストや特徴を抽出する検索システムを構築した。 MMMORRFは効率的かつ効果的であり、ユーザの情報要求に基づいてビデオ検索の実用性を示す。
  論文  参考訳（メタデータ） (2025-03-26T16:28:04Z)
• Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.7225771305861]
  本稿では,マルチモーダル大規模言語モデルの有効性を評価するためのベンチマークであるMulti-Modal Retrieval-Augmented Generation (M$2$RAG)を紹介する。 このベンチマークは、イメージキャプション、マルチモーダル質問応答、マルチモーダル事実検証、イメージリランクの4つのタスクで構成されている。 MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
  論文  参考訳（メタデータ） (2025-02-24T16:25:25Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。