論文の概要: MultiFIX: An XAI-friendly feature inducing approach to building models from multimodal data

• arxiv url: http://arxiv.org/abs/2402.12183v1
• Date: Mon, 19 Feb 2024 14:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 16:10:50.435338
• Title: MultiFIX: An XAI-friendly feature inducing approach to building models from multimodal data
• Title（参考訳）: MultiFIX:マルチモーダルデータからモデルを構築するためのXAIフレンドリーな機能導入アプローチ
• Authors: Mafalda Malafaia, Thalea Schlender, Peter A. N. Bosman, Tanja Alderliesten
• Abstract要約: MultiFIXは、新しい解釈可能性にフォーカスしたマルチモーダルデータ融合パイプラインである。 エンドツーエンドのディープラーニングアーキテクチャは、予測モデルをトレーニングするために使用されます。 悪性皮膚病変の検出のために,MultiFIXを公開データセットに適用した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the health domain, decisions are often based on different data modalities. Thus, when creating prediction models, multimodal fusion approaches that can extract and combine relevant features from different data modalities, can be highly beneficial. Furthermore, it is important to understand how each modality impacts the final prediction, especially in high-stake domains, so that these models can be used in a trustworthy and responsible manner. We propose MultiFIX: a new interpretability-focused multimodal data fusion pipeline that explicitly induces separate features from different data types that can subsequently be combined to make a final prediction. An end-to-end deep learning architecture is used to train a predictive model and extract representative features of each modality. Each part of the model is then explained using explainable artificial intelligence techniques. Attention maps are used to highlight important regions in image inputs. Inherently interpretable symbolic expressions, learned with GP-GOMEA, are used to describe the contribution of tabular inputs. The fusion of the extracted features to predict the target label is also replaced by a symbolic expression, learned with GP-GOMEA. Results on synthetic problems demonstrate the strengths and limitations of MultiFIX. Lastly, we apply MultiFIX to a publicly available dataset for the detection of malignant skin lesions.
• Abstract（参考訳）: 健康領域では、決定はしばしば異なるデータモダリティに基づいています。 したがって、予測モデルを作成する場合、異なるデータモダリティから関連する特徴を抽出・結合できるマルチモーダル融合アプローチは、非常に有益である。 さらに、各モダリティが最終予測にどのように影響するかを理解することが重要であり、特に高い領域において、これらのモデルが信頼できる責任ある方法で使用できる。 我々は,新たな解釈可能性に着目したマルチモーダルデータ融合パイプラインであるMultiFIXを提案する。 エンドツーエンドのディープラーニングアーキテクチャを使用して、予測モデルをトレーニングし、各モードの代表的特徴を抽出する。 モデルの各部分は、説明可能な人工知能技術を用いて説明される。 注意マップは画像入力において重要な領域を強調するために使われる。 GP-GOMEAで学習した連続的に解釈可能な記号表現は、表型入力の寄与を記述するために用いられる。 また, GP-GOMEAで学習したシンボル表現によって, 抽出した特徴の融合とターゲットラベルの予測が置き換えられる。 合成問題の結果はMultiFIXの強度と限界を示している。 最後に,悪性皮膚病変検出のための公開データセットにマルチフィックスを適用する。

関連論文リスト

• Flexible inference in heterogeneous and attributed multilayer networks [21.349513661012498]
  我々は任意の種類の情報を持つ多層ネットワークで推論を行う確率的生成モデルを開発した。 インド農村部における社会支援ネットワークにおける様々なパターンを明らかにする能力を示す。
  論文  参考訳（メタデータ） (2024-05-31T15:21:59Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• End-to-End Learning on Multimodal Knowledge Graphs [0.0]
  本稿では,グラフ構造からエンドツーエンドを学習するマルチモーダルメッセージパッシングネットワークを提案する。 我々のモデルは、専用(神経)エンコーダを使用して、5種類のモードに属するノードの特徴の埋め込みを自然に学習する。 この結果から,任意の知識グラフからエンド・ツー・エンドのマルチモーダル学習が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-03T13:16:18Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity [7.811916700683125]
  MuVI はドメインインフォームド・マルチビュー潜在変数モデルのための新しいアプローチである。 私たちのモデルは、機能セットの形でノイズの多いドメインの専門知識を統合することができることを実証しています。
  論文  参考訳（メタデータ） (2022-04-13T08:22:31Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。