論文の概要: A Step towards Interpretable Multimodal AI Models with MultiFIX
- arxiv url: http://arxiv.org/abs/2505.11262v1
- Date: Fri, 16 May 2025 13:54:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:15.180663
- Title: A Step towards Interpretable Multimodal AI Models with MultiFIX
- Title（参考訳）: MultiFIXを用いたマルチモーダルAIモデルの解釈に向けて
- Authors: Mafalda Malafaia, Thalea Schlender, Tanja Alderliesten, Peter A. N. Bosman,
- Abstract要約: MultiFIXは、解釈可能性駆動型マルチモーダルデータ融合パイプラインである。
明確に異なるモダリティから特徴を区別し、それらを組み合わせて最終的な予測を行う。
特徴抽出と予測モデリングのための複数のトレーニング戦略を用いて,MultiFIXの使用について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Real-world problems are often dependent on multiple data modalities, making multimodal fusion essential for leveraging diverse information sources. In high-stakes domains, such as in healthcare, understanding how each modality contributes to the prediction is critical to ensure trustworthy and interpretable AI models. We present MultiFIX, an interpretability-driven multimodal data fusion pipeline that explicitly engineers distinct features from different modalities and combines them to make the final prediction. Initially, only deep learning components are used to train a model from data. The black-box (deep learning) components are subsequently either explained using post-hoc methods such as Grad-CAM for images or fully replaced by interpretable blocks, namely symbolic expressions for tabular data, resulting in an explainable model. We study the use of MultiFIX using several training strategies for feature extraction and predictive modeling. Besides highlighting strengths and weaknesses of MultiFIX, experiments on a variety of synthetic datasets with varying degrees of interaction between modalities demonstrate that MultiFIX can generate multimodal models that can be used to accurately explain both the extracted features and their integration without compromising predictive performance.
- Abstract（参考訳）: 実世界の問題は、しばしば複数のデータモダリティに依存するため、多様な情報ソースを活用するためにマルチモーダル融合が不可欠である。
医療などの高度な領域では、それぞれのモダリティが予測にどのように貢献するかを理解することが、信頼できるAIモデルと解釈可能なAIモデルを保証するために重要である。
解釈可能性駆動型マルチモーダルデータ融合パイプラインであるMultiFIXを提案する。
当初、データからモデルをトレーニングするために使用されるのはディープラーニングコンポーネントのみである。
その後、ブラックボックス(ディープラーニング)コンポーネントは、画像のGrad-CAMのようなポストホックな手法で説明されるか、あるいは解釈可能なブロックで完全に置き換えられる。
特徴抽出と予測モデリングのための複数のトレーニング戦略を用いて,MultiFIXの使用について検討する。
MultiFIXの強みと弱みの強調に加えて、モーダル性間の相互作用の度合いが異なる様々な合成データセットの実験により、MultiFIXは、抽出した特徴と統合の両方を予測性能を損なうことなく正確に説明できるマルチモーダルモデルを生成することができることを示した。
関連論文リスト
- Continual Multimodal Contrastive Learning [70.60542106731813]
マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。
マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。
本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。
理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
論文 参考訳（メタデータ） (2025-03-19T07:57:08Z) - U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。
我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。
実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-24T08:58:48Z) - Interpretable Tensor Fusion [26.314148163750257]
InTense(Interpretable tensor fusion)は,マルチモーダルデータ表現を同時に学習するためのニューラルネットワークのトレーニング手法である。
InTenseは、関連スコアをモダリティとその関連に割り当てることで、ボックスから解釈可能性を提供する。
6つの実世界のデータセットの実験により、InTenseは精度と解釈可能性の観点から、既存の最先端のマルチモーダル解釈アプローチより優れていることが示された。
論文 参考訳（メタデータ） (2024-05-07T21:05:50Z) - MultiFIX: An XAI-friendly feature inducing approach to building models
from multimodal data [0.0]
MultiFIXは、新しい解釈可能性にフォーカスしたマルチモーダルデータ融合パイプラインである。
エンドツーエンドのディープラーニングアーキテクチャは、予測モデルをトレーニングするために使用されます。
悪性皮膚病変の検出のために,MultiFIXを公開データセットに適用した。
論文 参考訳（メタデータ） (2024-02-19T14:45:46Z) - Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。
特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。
事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
論文 参考訳（メタデータ） (2024-02-09T07:18:06Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳（メタデータ） (2023-08-20T12:43:52Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Encoding Domain Knowledge in Multi-view Latent Variable Models: A
Bayesian Approach with Structured Sparsity [7.811916700683125]
MuVI はドメインインフォームド・マルチビュー潜在変数モデルのための新しいアプローチである。
私たちのモデルは、機能セットの形でノイズの多いドメインの専門知識を統合することができることを実証しています。
論文 参考訳（メタデータ） (2022-04-13T08:22:31Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳（メタデータ） (2020-07-02T15:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。