論文の概要: Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective

• arxiv url: http://arxiv.org/abs/2608.00986v1
• Date: Sun, 02 Aug 2026 04:38:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.044986
• Title: Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective
• Title（参考訳）: 漁業情報から見たマルチモーダル異常検出におけるクロスモーダルフュージョンバイアスの理解と克服
• Abstract要約: クロスモーダル融合バイアスはマルチモーダル学習においてよく知られた課題である。 このバイアスを軽減するために設計されたプラグアンドプレイフレームワークであるUCFBを提案する。 シングルクラス、マルチクラス、少数ショット設定で一貫した改善を実現している。
• 参考スコア（独自算出の注目度）: 12.483815479418901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current advancements in Multimodal Anomaly Detection (MAD) are largely driven by enhancing multimodal fusion, particularly through the integration of RGB and Depth data for richer anomaly representation. However, less attention was devoted to analyzing the role of cross-modal fusion bias, a well-known challenge in multimodal learning, in MAD. This gap motivates a key question: can we overcome this bias to break the performance bottleneck of current work? In this paper, we first analyze the impact of cross-modal fusion bias in MAD via the Fisher Information Matrix. Then, grounded in these findings, we propose UCFB, a simple yet effective plug-and-play framework designed to mitigate cross-modal fusion bias in MAD. It achieves this by jointly employing Fisher-information-guided dynamic calibration to adjust modality-specific regularization weights and canonical similarity analysis to improve inter-modal interactions. Extensive experiments on the MVTec 3D-AD and Eyecandies datasets demonstrate that UCFB achieves consistent improvements in single-class, multi-class, and few-shot settings.
• Abstract（参考訳）: マルチモーダル異常検出(MAD)の最近の進歩は、特にリッチな異常表現のためのRGBとDepthデータの統合により、主にマルチモーダル融合の強化によって引き起こされている。 しかし,MADにおける多モーダル学習におけるクロスモーダル・フュージョン・バイアスの役割を分析することにはあまり注意が払われなかった。 現在の作業のパフォーマンスボトルネックを突破するために、このバイアスを克服できるだろうか? 本稿ではまず,MADにおける相互拡散バイアスの影響をFisher Information Matrixを用いて解析する。 そこで本研究では,MADにおける相互拡散バイアスを軽減するために,シンプルで効果的なプラグアンドプレイフレームワークであるUCFBを提案する。 これはフィッシャー情報誘導動的キャリブレーションを併用して、モーダル比正則化重みの調整と、モーダル間相互作用を改善する正準類似性解析によって実現される。 MVTec 3D-ADとEyecandiesデータセットの大規模な実験は、UCFBが単一クラス、複数クラス、少数ショット設定で一貫した改善を実現していることを示している。

関連論文リスト

• PC-MNet: Dual-Level Congruity Modeling for Multimodal Sarcasm Detection via Polarity-Modulated Attention [32.62063298936575]
  この研究は、人間のコミュニケーションにおける微妙な実用的不整合をモデル化するための、堅牢で分離されたパラダイムを提供する。 textttMUStARDベンチマークと、その素早い相関緩和型バランスデータセットの実験は、我々のアプローチが新しい最先端のパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2026-05-04T10:47:17Z)
• Multi-View Incongruity Learning for Multimodal Sarcasm Detection [40.10921890527881]
  マルチモーダルサルカズム検出(MSD)は下流の様々なタスクに不可欠である。 既存のMSD法は、素早い相関に依存する傾向がある。 本稿では,マルチモーダルサルカズム検出のためのコントラスト学習(MICL)によるマルチモーダルイングルリティの統合手法を提案する。
  論文  参考訳（メタデータ） (2024-12-01T10:29:36Z)
• AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
  マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。 これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。 本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-21T17:17:17Z)
• Cross-modal Orthogonal High-rank Augmentation for RGB-Event Transformer-trackers [58.802352477207094]
  本研究では,2つのモード間の分布ギャップを埋めるために,事前学習された視覚変換器(ViT)の潜在可能性を探る。 本研究では,いくつかのトークンの特定のモダリティをランダムにマスキングし,異なるモダリティのトークン間の相互作用を積極的に行うマスクモデリング戦略を提案する。 実験により,我々のプラグアンドプレイトレーニング強化技術は,追跡精度と成功率の両方の観点から,最先端のワンストリームと2つのトラッカーストリームを大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-07-09T08:58:47Z)
• Deep Equilibrium Multimodal Fusion [88.04713412107947]
  多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。 本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。 BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
  論文  参考訳（メタデータ） (2023-06-29T03:02:20Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Exploring Data Augmentation for Multi-Modality 3D Object Detection [82.9988604088494]
  ポイントクラウドとイメージに基づくマルチモダリティメソッドは、ポイントクラウドのみを使用するアプローチよりも、わずかに良いか、時には悪いだけである。 トランスフォーメーションフローと呼ばれるパイプラインを提案し、トランスフォーメーションのリバースとリプレイによってシングルモードとマルチモードのデータ拡張のギャップを埋める。 また,本手法は第3回nuScenes検出チャレンジでPKL賞を受賞した。
  論文  参考訳（メタデータ） (2020-12-23T15:23:16Z)
• Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning [32.125310341415755]
  本研究では,現在のマルチモーダル核融合モデルが相補的インテリジェンスを利用して敵攻撃を防いでいるかを検討した。 予測精度の向上のために最適化されたマルチモーダル融合モデルは, たとえ1つのセンサのみを攻撃しても, 敵攻撃に対して脆弱であることを確認した。
  論文  参考訳（メタデータ） (2020-05-22T03:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。