論文の概要: Measuring Cross-Modal Interactions in Multimodal Models

• arxiv url: http://arxiv.org/abs/2412.15828v1
• Date: Fri, 20 Dec 2024 12:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:23:14.660483
• Title: Measuring Cross-Modal Interactions in Multimodal Models
• Title（参考訳）: マルチモーダルモデルにおけるクロスモーダル相互作用の測定
• Authors: Laura Wenderoth, Konstantin Hemker, Nikola Simidjievski, Mateja Jamnik,
• Abstract要約: 既存のAIメソッドは、複数のデータソースの複合的な影響を理解するために不可欠な、モーダル間インタラクションをキャプチャできない。 本稿では,既存のアプローチの限界に対処する相互モーダルインタラクションスコアであるInterSHAPを紹介する。 我々は,InterSHAPが相互モーダル相互作用の存在を正確に測定し,複数のモーダルを扱えることを示す。
• 参考スコア（独自算出の注目度）: 9.862551438475666
• License:
• Abstract: Integrating AI in healthcare can greatly improve patient care and system efficiency. However, the lack of explainability in AI systems (XAI) hinders their clinical adoption, especially in multimodal settings that use increasingly complex model architectures. Most existing XAI methods focus on unimodal models, which fail to capture cross-modal interactions crucial for understanding the combined impact of multiple data sources. Existing methods for quantifying cross-modal interactions are limited to two modalities, rely on labelled data, and depend on model performance. This is problematic in healthcare, where XAI must handle multiple data sources and provide individualised explanations. This paper introduces InterSHAP, a cross-modal interaction score that addresses the limitations of existing approaches. InterSHAP uses the Shapley interaction index to precisely separate and quantify the contributions of the individual modalities and their interactions without approximations. By integrating an open-source implementation with the SHAP package, we enhance reproducibility and ease of use. We show that InterSHAP accurately measures the presence of cross-modal interactions, can handle multiple modalities, and provides detailed explanations at a local level for individual samples. Furthermore, we apply InterSHAP to multimodal medical datasets and demonstrate its applicability for individualised explanations.
• Abstract（参考訳）: 医療におけるAIの統合は、患者のケアとシステム効率を大幅に改善する。 しかしながら、AIシステム(XAI)における説明可能性の欠如は、特にますます複雑なモデルアーキテクチャを使用するマルチモーダル設定において、臨床導入を妨げる。 既存のXAI手法の多くは、複数のデータソースの複合的な影響を理解するために欠かせない、モダル間相互作用を捉えないユニモーダルモデルに重点を置いている。 既存のクロスモーダル相互作用の定量化方法は、2つのモードに制限され、ラベル付きデータに依存し、モデル性能に依存している。 これは医療において問題であり、XAIは複数のデータソースを扱い、個別の説明を提供する必要がある。 本稿では,既存のアプローチの限界に対処する相互モーダルインタラクションスコアであるInterSHAPを紹介する。 InterSHAPはシャプリー相互作用指数を用いて、近似なしで個々のモダリティとそれらの相互作用の寄与を正確に分離し定量化する。 オープンソース実装をSHAPパッケージに統合することにより、再現性と使いやすさを向上させる。 我々は,InterSHAPが相互モーダル相互作用の存在を正確に測定し,複数のモーダルを扱えることを示す。 さらに、InterSHAPをマルチモーダル医療データセットに適用し、その個別化説明への適用性を実証する。

関連論文リスト

• Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
  特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた 本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。 具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
  論文  参考訳（メタデータ） (2024-07-06T01:49:38Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Audio-Visual Fusion for Emotion Recognition in the Valence-Arousal Space Using Joint Cross-Attention [15.643176705932396]
  本稿では, A-V 融合のための連成連成連成連接モデルを提案し, A-V のモダリティ間で有意な特徴を抽出する。 ジョイント特徴表現と個々のモダリティの相関に基づいて、クロスアテンション重みを計算する。 以上の結果から,我々の連立アテンショナルA-V融合モデルが,最先端のアプローチより優れたコスト効率のソリューションとなることが示唆された。
  論文  参考訳（メタデータ） (2022-09-19T15:01:55Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis [18.4364234071951]
  我々は,三モーダル表現のハイブリッドコントラスト学習のための新しいフレームワークHyConを提案する。 具体的には,モーダル内・モーダル内コントラスト学習と半コントラスト学習を同時に行う。 提案手法は既存の作業より優れている。
  論文  参考訳（メタデータ） (2021-09-04T06:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。