論文の概要: Disentangled and Interpretable Multimodal Attention Fusion for Cancer Survival Prediction

• arxiv url: http://arxiv.org/abs/2503.16069v1
• Date: Thu, 20 Mar 2025 12:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:33:50.330289
• Title: Disentangled and Interpretable Multimodal Attention Fusion for Cancer Survival Prediction
• Title（参考訳）: 癌生存予測のための遠絡型・解釈型マルチモーダルアテンション固定法
• Authors: Aniek Eijpe, Soufyan Lakbir, Melis Erdal Cesur, Sara P. Oliveira, Sanne Abeln, Wilson Silva,
• Abstract要約: 癌生存予測を改善するために,Distangled and Interpretable Multimodal Attention Fusion (DIMAF)を提案する。 DIMAFは、注意に基づく融合機構の中で、モダリティ内およびモダリティ間相互作用を分離し、異なるモダリティ固有およびモダリティ共有表現を学習する。 4つの公立がん生存データセットでDIMAFを評価し,約1.85%の成績,23.7%の解離率の相対的な改善を達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: To improve the prediction of cancer survival using whole-slide images and transcriptomics data, it is crucial to capture both modality-shared and modality-specific information. However, multimodal frameworks often entangle these representations, limiting interpretability and potentially suppressing discriminative features. To address this, we propose Disentangled and Interpretable Multimodal Attention Fusion (DIMAF), a multimodal framework that separates the intra- and inter-modal interactions within an attention-based fusion mechanism to learn distinct modality-specific and modality-shared representations. We introduce a loss based on Distance Correlation to promote disentanglement between these representations and integrate Shapley additive explanations to assess their relative contributions to survival prediction. We evaluate DIMAF on four public cancer survival datasets, achieving a relative average improvement of 1.85% in performance and 23.7% in disentanglement compared to current state-of-the-art multimodal models. Beyond improved performance, our interpretable framework enables a deeper exploration of the underlying interactions between and within modalities in cancer biology.
• Abstract（参考訳）: 本研究は,全スライディング画像とトランスクリプトミクスデータを用いたがん生存予測の改善を目的として,モダリティ共有情報とモダリティ固有情報の両方を捕捉することが重要である。 しかし、マルチモーダルフレームワークは、しばしばこれらの表現を絡め、解釈可能性を制限するとともに、差別的特徴を抑圧する可能性がある。 そこで本研究では,Distangled and Interpretable Multimodal Attention Fusion (DIMAF)を提案する。Distangled and Interpretable Multimodal Attention Fusion (DIMAF)は,注意に基づく融合機構内でのモダリティ内およびモダリティ間相互作用を分離し,異なるモダリティ固有およびモダリティ共有表現を学習する多モーダルフレームワークである。 本稿では,これらの表現間の絡み合いを促進するために距離相関に基づく損失を導入し,Shapleyの付加的説明を統合し,生存予測に対する相対的寄与を評価する。 本研究では,4つの公立がん生存データセットを用いてDIMAFの評価を行い,現状のマルチモーダルモデルと比較して,パフォーマンスが1.85%,アンタングルが23.7%向上した。 パフォーマンスの向上に加えて、我々の解釈可能なフレームワークは、がん生物学におけるモダリティの根底にある相互作用のより深い探索を可能にします。

関連論文リスト

• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
  本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。 画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。 Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
  論文  参考訳（メタデータ） (2024-08-08T02:31:04Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• TTMFN: Two-stream Transformer-based Multimodal Fusion Network for Survival Prediction [7.646155781863875]
  生存予測のための2ストリームトランスフォーマーベースマルチモーダルフュージョンネットワーク(TTMFN)という新しいフレームワークを提案する。 TTMFNでは、異なるモード間の複雑な関係をフル活用するために、2ストリームマルチモーダルコアテンショントランスモジュールを提案する。 The Cancer Genome Atlasの4つのデータセットによる実験結果は、TMFNが最高のパフォーマンスまたは競争的な結果を得ることができることを示した。
  論文  参考訳（メタデータ） (2023-11-13T02:31:20Z)
• Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
  非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。 組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
  論文  参考訳（メタデータ） (2023-08-18T21:42:52Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。