論文の概要: Feature-level Interaction Explanations in Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2603.13326v1
• Date: Wed, 04 Mar 2026 18:24:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.307276
• Title: Feature-level Interaction Explanations in Multimodal Transformers
• Title（参考訳）: マルチモーダル変圧器における特徴レベルの相互作用記述
• Authors: Yeji Kim, Housam Khalifa Bashier Babiker, Mi-Young Kim, Randy Goebel,
• Abstract要約: マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。 本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。 我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
• 参考スコア（独自算出の注目度）: 1.7101146971136896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Transformers often produce predictions without clarifying how different modalities jointly support a decision. Most existing multimodal explainable AI (MXAI) methods extend unimodal saliency to multimodal backbones, highlighting important tokens or patches within each modality, but they rarely pinpoint which cross-modal feature pairs provide complementary evidence (synergy) or serve as reliable backups (redundancy). We present Feature-level I2MoE (FL-I2MoE), a structured Mixture-of-Experts layer that operates directly on token/patch sequences from frozen pretrained encoders and explicitly separates unique, synergistic, and redundant evidence at the feature level. We further develop an expert-wise explanation pipeline that combines attribution with top-K% masking to assess faithfulness, and we introduce Monte Carlo interaction probes to quantify pairwise behavior: the Shapley Interaction Index (SII) to score synergistic pairs and a redundancy-gap score to capture substitutable (redundant) pairs. Across three benchmarks (MMIMDb, ENRICO, and MMHS150K), FL-I2MoE yields more interactionspecific and concentrated importance patterns than a dense Transformer with the same encoders. Finally, pair-level masking shows that removing pairs ranked by SII or redundancy-gap degrades performance more than masking randomly chosen pairs under the same budget, supporting that the identified interactions are causally relevant.
• Abstract（参考訳）: マルチモーダルトランスフォーマーは、しばしば、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。 既存のマルチモーダル説明可能なAI(MXAI)メソッドは、各モーダル内の重要なトークンやパッチを強調して、モモーダルサリエンシをマルチモーダルバックボーンに拡張するが、クロスモーダル機能ペアが相補的なエビデンス(アレルギー)を提供するか、あるいは信頼できるバックアップ(冗長性)として機能するかを見分けることは滅多にない。 We present Feature-level I2MoE (FL-I2MoE), a structured Mixture-of-Experts layer that direct on token/patch sequences from frozen pretrained encoder and clearly separates unique, synergistic and redundant evidence at the feature level。 さらに、帰属とトップK%マスキングを併用して忠実度を評価するための専門的な説明パイプラインを開発し、また、相乗対をスコアするシェープリー相互作用指数(SII)と、置換可能な(冗長な)ペアをキャプチャする冗長ギャップスコア(dundancy-gap score)というペアの振る舞いを定量化するためにモンテカルロ相互作用プローブを導入する。 3つのベンチマーク(MMIMDb、ENRICO、MMHS150K)でFL-I2MoEは、同一エンコーダを持つ高密度トランスフォーマーよりも、より相互作用特異的で集中的な重要パターンをもたらす。 最後に、ペアレベルのマスキングは、SIIまたは冗長ギャップによってランク付けされたペアを削除することで、同じ予算下でランダムに選択されたペアをマスキングするよりもパフォーマンスが低下し、識別された相互作用が因果関係であることを示す。

関連論文リスト

• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• MM-DETR: An Efficient Multimodal Detection Transformer with Mamba-Driven Dual-Granularity Fusion and Frequency-Aware Modality Adapters [12.063966356953186]
  マルチモーダルリモートセンシングオブジェクト検出は、困難条件下でより正確で堅牢な認識を実現することを目的としている。 注意に基づく、あるいは変形可能な畳み込み融合ブロックに依存する既存のアプローチは、依然としてパフォーマンスと軽量設計のバランスをとるのに苦労している。 マルチモーダルオブジェクト検出のための軽量かつ効率的なフレームワークMM-DETRを提案する。
  論文  参考訳（メタデータ） (2025-11-29T07:23:01Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。