論文の概要: PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities

• arxiv url: http://arxiv.org/abs/2604.04999v1
• Date: Sun, 05 Apr 2026 21:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.395864
• Title: PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities
• Title（参考訳）: プロトタイプ駆動型マルチモーダルプレトレーニングによる癌予後の検討
• Authors: Kai Yu, Shuang Zhou, Yiran Song, Zaifu Zhan, Jie Peng, Kaixiong Zhou, Tianlong Chen, Feng Xie, Meng Wang, Huazhu Fu, Mingquan Lin, Rui Zhang,
• Abstract要約: PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。 部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。 The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
• 参考スコア（独自算出の注目度）: 86.63247982275396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal self-supervised pretraining offers a promising route to cancer prognosis by integrating histopathology whole-slide images, gene expression, and pathology reports, yet most existing approaches require fully paired and complete inputs. In practice, clinical cohorts are fragmented and often miss one or more modalities, limiting both supervised fusion and scalable multimodal pretraining. We propose PRIME, a missing-aware multimodal self-supervised pretraining framework that learns robust and transferable representations from partially observed cohorts. PRIME maps heterogeneous modality embeddings into a unified token space and introduces a shared prototype memory bank for latent-space semantic imputation via patient-level consensus retrieval, producing structurally aligned tokens without reconstructing raw signals. Two complementary pretraining objectives: inter-modality alignment and post-fusion consistency under structured missingness augmentation, jointly learn representations that remain predictive under arbitrary modality subsets. We evaluate PRIME on The Cancer Genome Atlas with label-free pretraining on 32 cancer types and downstream 5-fold evaluation on five cohorts across overall survival prediction, 3-year mortality classification, and 3-year recurrence classification. PRIME achieves the best macro-average performance among all compared methods, reaching 0.653 C-index, 0.689 AUROC, and 0.637 AUROC on the three tasks, respectively, while improving robustness under test-time missingness and supporting parameter-efficient and label-efficient adaptation. These results support missing-aware multimodal pretraining as a practical strategy for prognosis modeling in fragmented clinical data settings.
• Abstract（参考訳）: マルチモーダル自己監督型プレトレーニングは、病理組織像、遺伝子発現、病理所見を統合することで、癌予後への有望な経路を提供するが、既存のアプローチでは、完全なペアと完全な入力が必要である。 実際には、臨床コホートは断片化されており、しばしば1つまたは複数のモダリティを欠いている。 本稿では,部分的に観察されたコホートから頑健で伝達可能な表現を学習する,マルチモーダルな自己指導型事前学習フレームワークPRIMEを提案する。 PRIMEは、不均一なモダリティ埋め込みを統一されたトークン空間にマッピングし、患者レベルのコンセンサス検索を通じて潜在空間意味論的命令のための共有プロトタイプメモリバンクを導入し、生信号の再構成なしに構造的に整列したトークンを生成する。 2つの相補的事前学習目標: 構造的欠如強化の下でのモダリティアライメントと後融合一貫性、任意のモダリティ部分集合の下で予測的のままである表現を共同学習する。 The Cancer Genome Atlas におけるPRIME の評価は,32種類の癌に対するラベルなし事前訓練と,生存予測,3年間の死亡分類,3年間の再発分類の5つのコホートに対する下流5倍の評価を用いて行った。 PRIMEは,3つのタスクにおいてそれぞれ0.653 C-インデックス,0.689 AUROC,0.637 AUROCに到達し,テスト時間不足時のロバスト性を向上し,パラメータ効率とラベル効率を向上する。 これらの結果は、断片化された臨床データ設定における予後モデリングの実践的戦略として、欠落を意識したマルチモーダル事前訓練を支援する。

関連論文リスト

• Handling Missing Modalities in Multimodal Survival Prediction for Non-Small Cell Lung Cancer [28.475952006436227]
  我々はCT(Computed Tomography)、WSI(Whole-Slide Histopathology)画像、および非切除性ステージII-III NSCLCにおける総合生存モデリングのための構造化された臨床変数を統合した、欠落したマルチモーダルサバイバルフレームワークを提案する。 実験結果から, 中間核融合は早期および後期核融合戦略と同様に, 単相塩基性よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-01-15T13:38:19Z)
• SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction [49.355973075150075]
  マルチモーダルサバイバル予測のための最初の階層的チェーン・オブ・シント(CoT)強化マルチエージェントシステムであるSurvAgentを紹介する。 SurvAgentは2つの段階から構成される: WSI-Gene CoT-Enhanced Case Bank Constructionは、低磁化スクリーニング、クロスモーダル類似性-アウェアパッチマイニング、および病理画像に対する信頼-アウェアパッチマイニングを通じて階層解析を使用する。 二分法に基づくMulti-Expert Agent Inferenceは、RAGを介して類似の事例を検索し、段階的間隔改善による専門家予測とマルチモーダルレポートを統合する。
  論文  参考訳（メタデータ） (2025-11-20T18:41:44Z)
• Post-TIPS Prediction via Multimodal Interaction: A Multi-Center Dataset and Framework for Survival, Complication, and Portal Pressure Assessment [23.819390753301136]
  経肝門脈門脈内シャント(TIPS)は門脈圧亢進症に対して確立された治療法であるが,変動生存と頻発性肝脳症(OHE)を呈する。 最近の研究では、通常、術前のCT画像や臨床特性から機械学習モデルを構築する。 我々は、TIPSの予後に関する最初の公開マルチセンターデータセットであるMultiTIPSを提案し、それに基づく新しいマルチモーダル・予後フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-12T06:11:59Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Cross-Modality Masked Learning for Survival Prediction in ICI Treated NSCLC Patients [8.798544846026676]
  免疫療法を施行した非小細胞肺癌(NSCLC)患者の大規模データセットについて報告する。 本稿では,生存予測の精度向上を目的としたマルチモーダル機能融合のための新しいフレームワークを提案する。 提案手法は,NSCLCサバイバル予測のためのマルチモーダル統合において,既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-07-09T16:19:31Z)
• PiCME: Pipeline for Contrastive Modality Evaluation and Encoding in the MIMIC Dataset [16.263862005367667]
  マルチモーダル深層学習は、多様な患者データを統合することで臨床予測を改善することを約束する。 対照的な学習は、タスク間で再利用可能な統一表現を生成することによって、この統合を促進する。 PiCMEはMIMICのすべてのモダリティの組み合わせでコントラスト学習をスケールした最初の企業である。
  論文  参考訳（メタデータ） (2025-07-03T20:45:37Z)
• EAGLE: Efficient Alignment of Generalized Latent Embeddings for Multimodal Survival Prediction with Interpretable Attribution Analysis [16.567468717846676]
  既存のマルチモーダルアプローチは、単純化された融合戦略、膨大な計算要求、および臨床導入における解釈可能性の重要な障壁の欠如に悩まされている。 本稿では,注意に基づくマルチモーダル融合と包括的帰属分析により,これらの制約に対処する新しいディープラーニングフレームワークであるEagleを紹介する。 Eagleは、高度なAI機能と実用的なヘルスケアデプロイメントのギャップを埋め、マルチモーダルサバイバル予測のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-06-12T03:56:13Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。