論文の概要: Attention-Based Multimodal Survival Prediction with Cross-Modal Bilinear Fusion

• arxiv url: http://arxiv.org/abs/2605.13897v1
• Date: Tue, 12 May 2026 13:09:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.403464
• Title: Attention-Based Multimodal Survival Prediction with Cross-Modal Bilinear Fusion
• Title（参考訳）: クロスモーダルバイリニア核融合による注意に基づくマルチモーダル生存予測
• Authors: Hassan Keshvarikhojasteh, Josien P. W. Pluim, Mitko Veta,
• Abstract要約: 患者レベル生存予測のための新しいディープラーニングフレームワークを提案する。 全スライディング組織学の特徴、RNA-seq発現プロファイル、臨床変数を統合している。 我々のアーキテクチャは、スライドレベルの表現のためのAMMILモジュールciteilse2018アテンションと、RNAおよび臨床データのためのフィードフォワードエンコーダを組み合わせたものである。
• 参考スコア（独自算出の注目度）: 1.4203297056262238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel multimodal deep learning framework for patient-level survival prediction, which integrates whole-slide histology features, RNA-seq expression profiles, and clinical variables. Our architecture combines an ABMIL module~\cite{ilse2018attention} for slide-level representation with feedforward encoders for RNA and clinical data. These embeddings are then integrated through low-rank bilinear cross-modal fusion~\cite{liu2018efficient} to model conditional interactions across modalities while controlling parameter growth. The model outputs continuous risk scores that are subsequently mapped to survival times using a nonparametric calibration procedure based on the Kaplan--Meier estimator~\cite{kaplan1958nonparametric}. By decomposing multimodal reasoning into independent pairwise interactions, the proposed fusion design promotes structural interpretability and parameter efficiency compared with full tensor and hierarchical fusion strategies. Experiments on the CHIMERA challenge dataset demonstrate improved predictive performance over concatenation-based baselines and competitive generalization on hidden evaluation cohorts. These results indicate that the proposed framework is a promising approach for multimodal survival prediction in HR-NMIBC. The implementation is publicly available at https://github.com/hassancpu/ChimeraChallenge2025_Task_3.
• Abstract（参考訳）: 患者レベル生存予測のための新しい多モード深層学習フレームワークを提案し, 組織学的特徴, RNA-seq発現プロファイル, 臨床変数を統合した。 我々のアーキテクチャは、スライドレベルの表現のためのAMMILモジュール~\cite{ilse2018attention}をRNAおよび臨床データのためのフィードフォワードエンコーダと組み合わせている。 これらの埋め込みは、パラメータ成長を制御しながら、モダリティ間の条件的相互作用をモデル化するために、低ランクの双線型クロスモーダル融合~\cite{liu2018efficient}を通じて統合される。 このモデルは、Kaplan--Meier estimator~\cite{kaplan 1958nonparametric} に基づく非パラメトリックキャリブレーション法を用いて、その後生存時間にマッピングされた連続リスクスコアを出力する。 マルチモーダル推論を独立なペアワイド相互作用に分解することにより、提案した融合設計は、フルテンソルおよび階層融合戦略と比較して構造的解釈可能性とパラメータ効率を促進する。 CHIMERAチャレンジデータセットの実験では、連結ベースラインよりも予測性能が向上し、隠れ評価コホート上での競合一般化が示された。 これらの結果は,HR-NMIBCにおけるマルチモーダルサバイバル予測において,提案手法が有望なアプローチであることを示唆している。 実装はhttps://github.com/hassancpu/ChimeraChallenge2025_Task_3で公開されている。

関連論文リスト

• PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
  PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。 部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。 The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
  論文  参考訳（メタデータ） (2026-04-05T21:14:27Z)
• Quantifying Cross-Modal Interactions in Multimodal Glioma Survival Prediction via InterSHAP: Evidence for Additive Signal Integration [0.0]
  がん予後のためのマルチモーダルディープラーニングは、相乗的相互モーダル相互作用の恩恵を受けると一般的に考えられている。 この研究は、シャプリー相互作用指標に基づく指標であるInterSHAPを適用し、グリオーマ生存予測における相互モーダル相互作用を定量化する。
  論文  参考訳（メタデータ） (2026-03-31T16:39:56Z)
• Counterfactual Understanding via Retrieval-aware Multimodal Modeling for Time-to-Event Survival Prediction [1.5713805841057418]
  CUREは、総合的なマルチモーダル埋め込みと潜伏検索を通じて、対物生存モデリングを促進するフレームワークである。 MetaBRICおよびTCGA-LUADデータセットの実験結果から,提案したCUREモデルは生存分析において強いベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-02-23T15:53:25Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction [5.895727565919295]
  本稿では,MurreNet(マルチモーダル表現デカップリングネットワーク)を提案する。 MurreNetはペア化された入力データをモダリティ固有表現とモダリティ共有表現に分解し、モダリティ間の冗長性を減少させる。 6つのTCGA癌コホートで行った実験は、MurreNetが生存予測において最先端(SOTA)のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-07-07T11:26:29Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• TTMFN: Two-stream Transformer-based Multimodal Fusion Network for Survival Prediction [7.646155781863875]
  生存予測のための2ストリームトランスフォーマーベースマルチモーダルフュージョンネットワーク(TTMFN)という新しいフレームワークを提案する。 TTMFNでは、異なるモード間の複雑な関係をフル活用するために、2ストリームマルチモーダルコアテンショントランスモジュールを提案する。 The Cancer Genome Atlasの4つのデータセットによる実験結果は、TMFNが最高のパフォーマンスまたは競争的な結果を得ることができることを示した。
  論文  参考訳（メタデータ） (2023-11-13T02:31:20Z)
• A Statistics and Deep Learning Hybrid Method for Multivariate Time Series Forecasting and Mortality Modeling [0.0]
  Exponential Smoothing Recurrent Neural Network (ES-RNN)は、統計予測モデルとリカレントニューラルネットワークのハイブリッドである。 ES-RNNはMakridakis-4 Forecasting Competitionで絶対誤差を9.4%改善した。
  論文  参考訳（メタデータ） (2021-12-16T04:44:19Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。