論文の概要: PS3: A Multimodal Transformer Integrating Pathology Reports with Histology Images and Biological Pathways for Cancer Survival Prediction

• arxiv url: http://arxiv.org/abs/2509.20022v1
• Date: Wed, 24 Sep 2025 11:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.797847
• Title: PS3: A Multimodal Transformer Integrating Pathology Reports with Histology Images and Biological Pathways for Cancer Survival Prediction
• Title（参考訳）: PS3: 癌生存予測のための病理組織像と生物学的経路を統合したマルチモーダルトランスフォーマー
• Authors: Manahil Raza, Ayesha Azam, Talha Qaiser, Nasir Rajpoot,
• Abstract要約: 計算オンコロジーにおける現在のマルチモーダル融合アプローチは、主に、複数のギガピクセルのヒストロジー全体のスライド画像(WSI)をゲノムデータや転写データと統合することに焦点を当てている。 本稿では,両立表現を生成するプロトタイプベースの手法を提案し,生存予測のためにTransformerベースの融合モデルを用いて統合する。
• 参考スコア（独自算出の注目度）: 2.638791169659607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current multimodal fusion approaches in computational oncology primarily focus on integrating multi-gigapixel histology whole slide images (WSIs) with genomic or transcriptomic data, demonstrating improved survival prediction. We hypothesize that incorporating pathology reports can further enhance prognostic performance. Pathology reports, as essential components of clinical workflows, offer readily available complementary information by summarizing histopathological findings and integrating expert interpretations and clinical context. However, fusing these modalities poses challenges due to their heterogeneous nature. WSIs are high-dimensional, each containing several billion pixels, whereas pathology reports consist of concise text summaries of varying lengths, leading to potential modality imbalance. To address this, we propose a prototype-based approach to generate balanced representations, which are then integrated using a Transformer-based fusion model for survival prediction that we term PS3 (Predicting Survival from Three Modalities). Specifically, we present: (1) Diagnostic prototypes from pathology reports, leveraging self-attention to extract diagnostically relevant sections and standardize text representation; (2) Histological prototypes to compactly represent key morphological patterns in WSIs; and (3) Biological pathway prototypes to encode transcriptomic expressions, accurately capturing cellular functions. PS3, the three-modal transformer model, processes the resulting prototype-based multimodal tokens and models intra-modal and cross-modal interactions across pathology reports, WSIs and transcriptomic data. The proposed model outperforms state-of-the-art methods when evaluated against clinical, unimodal and multimodal baselines on six datasets from The Cancer Genome Atlas (TCGA). The code is available at: https://github.com/manahilr/PS3.
• Abstract（参考訳）: 計算オンコロジーにおける現在のマルチモーダル融合アプローチは、主に、多重ギガピクセルのヒストロジー全体(WSI)とゲノムまたは転写学的データの統合に焦点を当て、生存率予測の改善を実証している。 病理報告を取り入れることで予後がさらに向上するのではないか,という仮説を立てる。 病理報告は、臨床ワークフローの不可欠な構成要素として、病理組織学的所見を要約し、専門家の解釈と臨床コンテキストを統合することで、容易に相補的な情報を提供する。 しかし、これらのモダリティを融合させることは、その不均一性のために困難を生じさせる。 WSIは高次元であり、それぞれ数十億画素を含んでいるが、病理報告は様々な長さの簡潔なテキスト要約で構成されており、潜在的なモダリティの不均衡をもたらす。 そこで我々は,PS3(Predicting Survival from Three Modalities)と呼ぶ生存予測のために,Transformerベースの融合モデルを用いて,均衡表現を生成するプロトタイプベースの手法を提案する。 具体的には,(1)病理報告からの診断用プロトタイプ,(2)診断関連部分の抽出とテキスト表現の標準化に自己注意を生かし,(2)WSIのキーモルフォロジーパターンをコンパクトに表現する組織用プロトタイプ,(3)転写学的表現をコード化し,細胞機能の正確に把握する生物学的経路用プロトタイプについて述べる。 3モーダルトランスモデルであるPS3は、結果として得られるプロトタイプベースのマルチモーダルトークンを処理し、病理報告、WSI、および転写データ間でのモモーダル内およびクロスモーダル相互作用をモデル化する。 提案モデルは,The Cancer Genome Atlas (TCGA) の6つのデータセットに対する臨床, 単調, マルチモーダルベースラインに対する評価において, 最先端の手法よりも優れている。 コードは、https://github.com/manahilr/PS3.comで入手できる。

関連論文リスト

• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Meta-Entity Driven Triplet Mining for Aligning Medical Vision-Language Models [9.76070837929117]
  既存のアライメント手法は、微粒な病理属性の分離よりも病気のクラス間の分離を優先する。 本稿では,マルチモーダル三重項学習による画像テキストアライメントを向上させる新しい手法であるMedTrimを提案する。 我々の実証では,MedTrimは,最先端のアライメント手法と比較して,下流検索および分類タスクの性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2025-04-22T14:17:51Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [57.044719143401664]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Multimodal Prototyping for cancer survival prediction [45.61869793509184]
  ギガピクセルヒストロジー全体スライディング画像(WSI)と転写学的プロファイルを組み合わせたマルチモーダルサバイバル法は,患者の予後と成層化に特に有望である。 現在のアプローチでは、WSIを小さなパッチ(>10,000パッチ)にトークン化し、トランスクリプトミクスを遺伝子グループに分割し、結果を予測するためにTransformerを使用して統合する。 このプロセスは多くのトークンを生成し、これは注意を計算するための高いメモリ要求をもたらし、ポストホック解釈可能性分析を複雑にする。 我々のフレームワークは、新しい解釈可能性解析を解き放ちながら、はるかに少ない計算で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-06-28T20:37:01Z)
• Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
  病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。 既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。 本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-25T02:18:35Z)
• Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction [3.2274401541163322]
  本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。 提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-04-13T21:02:32Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。