論文の概要: MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction
- arxiv url: http://arxiv.org/abs/2507.04891v1
- Date: Mon, 07 Jul 2025 11:26:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:35.399034
- Title: MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction
- Title(参考訳): MurreNet: 生存予測のための病理組織とゲノムプロファイル間のホロスティックなマルチモーダル相互作用のモデリング
- Authors: Mingxin Liu, Chengfei Cai, Jun Li, Pengbo Xu, Jinze Li, Jiquan Ma, Jun Xu,
- Abstract要約: 本稿では,MurreNet(マルチモーダル表現デカップリングネットワーク)を提案する。
MurreNetはペア化された入力データをモダリティ固有表現とモダリティ共有表現に分解し、モダリティ間の冗長性を減少させる。
6つのTCGA癌コホートで行った実験は、MurreNetが生存予測において最先端(SOTA)のパフォーマンスを達成することを示した。
- 参考スコア(独自算出の注目度): 5.895727565919295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cancer survival prediction requires integrating pathological Whole Slide Images (WSIs) and genomic profiles, a challenging task due to the inherent heterogeneity and the complexity of modeling both inter- and intra-modality interactions. Current methods often employ straightforward fusion strategies for multimodal feature integration, failing to comprehensively capture modality-specific and modality-common interactions, resulting in a limited understanding of multimodal correlations and suboptimal predictive performance. To mitigate these limitations, this paper presents a Multimodal Representation Decoupling Network (MurreNet) to advance cancer survival analysis. Specifically, we first propose a Multimodal Representation Decomposition (MRD) module to explicitly decompose paired input data into modality-specific and modality-shared representations, thereby reducing redundancy between modalities. Furthermore, the disentangled representations are further refined then updated through a novel training regularization strategy that imposes constraints on distributional similarity, difference, and representativeness of modality features. Finally, the augmented multimodal features are integrated into a joint representation via proposed Deep Holistic Orthogonal Fusion (DHOF) strategy. Extensive experiments conducted on six TCGA cancer cohorts demonstrate that our MurreNet achieves state-of-the-art (SOTA) performance in survival prediction.
- Abstract(参考訳): がん生存予測には、病的全スライド画像(WSI)とゲノムプロファイルの統合が必要である。
現在の手法では、しばしば多モーダルな特徴統合のための単純な融合戦略を用いており、多モーダルな特徴の相互作用を包括的に捉えることができず、その結果、多モーダルな相関と準最適予測性能の限定的な理解がもたらされる。
これらの制約を緩和するために,MurreNet(MurreNet)というマルチモーダル表現デカップリングネットワーク(MurreNet)を提案する。
具体的には,まず,Multimodal Representation Decomposition (MRD)モジュールを提案する。
さらに、不整合表現をさらに洗練し、分散類似性、差分、モダリティ特徴の表現性に制約を課す新しいトレーニング正規化戦略によって更新する。
最後に、拡張マルチモーダル特徴は、提案したDeep Holistic Orthogonal Fusion(DHOF)戦略を介して、ジョイント表現に統合される。
6つのTCGA癌コホートで実施された大規模な実験は、MurreNetが生存予測において最先端(SOTA)のパフォーマンスを達成することを示した。
関連論文リスト
- Disentangled and Interpretable Multimodal Attention Fusion for Cancer Survival Prediction [0.0]
癌生存予測を改善するために,Distangled and Interpretable Multimodal Attention Fusion (DIMAF)を提案する。
DIMAFは、注意に基づく融合機構の中で、モダリティ内およびモダリティ間相互作用を分離し、異なるモダリティ固有およびモダリティ共有表現を学習する。
4つの公立がん生存データセットでDIMAFを評価し,約1.85%の成績,23.7%の解離率の相対的な改善を達成した。
論文 参考訳(メタデータ) (2025-03-20T12:02:10Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - SurvMamba: State Space Model with Multi-grained Multi-modal Interaction for Survival Prediction [8.452410804749512]
生存予測のための多層多モード相互作用(SurvMamba)を用いた状態空間モデルを提案する。
SurvMamba は階層的相互作用 Mamba (HIM) モジュールで実装されている。
インターフェクション・フュージョン・マンバ (IFM) モジュールは、モーダル間インタラクティブ・フュージョンのカスケードに使われ、生存予測のためのより包括的な特徴をもたらす。
論文 参考訳(メタデータ) (2024-04-11T15:58:12Z) - TTMFN: Two-stream Transformer-based Multimodal Fusion Network for
Survival Prediction [7.646155781863875]
生存予測のための2ストリームトランスフォーマーベースマルチモーダルフュージョンネットワーク(TTMFN)という新しいフレームワークを提案する。
TTMFNでは、異なるモード間の複雑な関係をフル活用するために、2ストリームマルチモーダルコアテンショントランスモジュールを提案する。
The Cancer Genome Atlasの4つのデータセットによる実験結果は、TMFNが最高のパフォーマンスまたは競争的な結果を得ることができることを示した。
論文 参考訳(メタデータ) (2023-11-13T02:31:20Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳(メタデータ) (2023-11-06T13:56:57Z) - Exploiting modality-invariant feature for robust multimodal emotion
recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。
提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文 参考訳(メタデータ) (2022-10-27T12:16:25Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳(メタデータ) (2022-07-07T16:57:21Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。