論文の概要: Interpretable Multimodal Cancer Prototyping with Whole Slide Images and Incompletely Paired Genomics
- arxiv url: http://arxiv.org/abs/2511.21937v1
- Date: Wed, 26 Nov 2025 21:53:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-01 19:47:55.310076
- Title: Interpretable Multimodal Cancer Prototyping with Whole Slide Images and Incompletely Paired Genomics
- Title(参考訳): 全スライド画像と不完全欠失ゲノミクスを用いた解釈可能な多モード癌プロトタイピング
- Authors: Yupei Zhang, Yating Huang, Wanming Hu, Lequan Yu, Hujun Yin, Chao Li,
- Abstract要約: スライド画像全体と不完全ゲノミクスを正確なオンコロジーのために統合するフレキシブルなマルチモーダルプロトタイピングフレームワークを提案する。
1)テキストのプロンプトとプロトタイプの重み付けによる生物プロトタイピング,2)サンプルと分布のアライメントによるマルチビューアライメント,3)マルチモーダルフュージョンのための共有情報とモダリティ固有情報の両方をキャプチャするバイパート・フュージョン,4)セマンティック・ゲノミクス・インパテーション。
- 参考スコア(独自算出の注目度): 26.503881136106965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal approaches that integrate histology and genomics hold strong potential for precision oncology. However, phenotypic and genotypic heterogeneity limits the quality of intra-modal representations and hinders effective inter-modal integration. Furthermore, most existing methods overlook real-world clinical scenarios where genomics may be partially missing or entirely unavailable. We propose a flexible multimodal prototyping framework to integrate whole slide images and incomplete genomics for precision oncology. Our approach has four key components: 1) Biological Prototyping using text prompting and prototype-wise weighting; 2) Multiview Alignment through sample- and distribution-wise alignments; 3) Bipartite Fusion to capture both shared and modality-specific information for multimodal fusion; and 4) Semantic Genomics Imputation to handle missing data. Extensive experiments demonstrate the consistent superiority of the proposed method compared to other state-of-the-art approaches on multiple downstream tasks. The code is available at https://github.com/helenypzhang/Interpretable-Multimodal-Prototyping.
- Abstract(参考訳): 組織学とゲノム学を統合するマルチモーダルアプローチは、精度オンコロジーの強い可能性を秘めている。
しかし、表現型および遺伝子型不均一性は、モダル内表現の品質を制限し、効果的なモダル間結合を妨げる。
さらに、既存のほとんどの手法は、ゲノムが部分的に欠落している、あるいは完全に利用できない、実際の臨床シナリオを見落としている。
スライド画像全体と不完全ゲノミクスを正確なオンコロジーのために統合するフレキシブルなマルチモーダルプロトタイピングフレームワークを提案する。
私たちのアプローチには4つの重要な要素があります。
1)テキストプロンプトとプロトタイプワイド重み付けを用いた生物プロトタイピング
2 サンプル及び分布的アライメントによる多視点アライメント
3) マルチモーダル核融合のための共有情報とモダリティ特化情報の両方を捕捉するバイパートイト核融合
4) 行方不明データを扱うためのセマンティックゲノミクス計算。
複数の下流タスクにおける他の最先端手法と比較して,提案手法が一貫した優位性を示した。
コードはhttps://github.com/helenypzhang/Interpretable-Multimodal-Prototypingで公開されている。
関連論文リスト
- Multimodal Feature Prototype Learning for Interpretable and Discriminative Cancer Survival Prediction [15.83495701073124]
本稿では,がん生存予測の強化を目的とした,革新的なプロトタイプベースのマルチモーダルフレームワークFeatProtoを紹介する。
本フレームワークは,スライド画像全体(WSI)のグローバルな特徴と局所的な特徴をゲノムプロファイルと統合する。
本手法は,既存の一様・多様生存予測手法を精度,相互運用性ともに超越した手法である。
論文 参考訳(メタデータ) (2025-10-07T16:49:52Z) - PS3: A Multimodal Transformer Integrating Pathology Reports with Histology Images and Biological Pathways for Cancer Survival Prediction [2.638791169659607]
計算オンコロジーにおける現在のマルチモーダル融合アプローチは、主に、複数のギガピクセルのヒストロジー全体のスライド画像(WSI)をゲノムデータや転写データと統合することに焦点を当てている。
本稿では,両立表現を生成するプロトタイプベースの手法を提案し,生存予測のためにTransformerベースの融合モデルを用いて統合する。
論文 参考訳(メタデータ) (2025-09-24T11:37:52Z) - ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis [18.458319783609163]
病理画像とゲノムデータを統合した マルチモーダルサバイバル分析が 有望なアプローチとして現れました
本稿では,識別学的特徴とゲノム的特徴を抽出するマルチエキスパート・マンバシステムを提案する。
本手法は比較的少ない計算量で安定かつ高精度な生存解析を実現する。
論文 参考訳(メタデータ) (2025-09-21T03:23:04Z) - GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ
我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文 参考訳(メタデータ) (2024-07-08T01:06:13Z) - Multimodal Prototyping for cancer survival prediction [45.61869793509184]
ギガピクセルヒストロジー全体スライディング画像(WSI)と転写学的プロファイルを組み合わせたマルチモーダルサバイバル法は,患者の予後と成層化に特に有望である。
現在のアプローチでは、WSIを小さなパッチ(>10,000パッチ)にトークン化し、トランスクリプトミクスを遺伝子グループに分割し、結果を予測するためにTransformerを使用して統合する。
このプロセスは多くのトークンを生成し、これは注意を計算するための高いメモリ要求をもたらし、ポストホック解釈可能性分析を複雑にする。
我々のフレームワークは、新しい解釈可能性解析を解き放ちながら、はるかに少ない計算で最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-06-28T20:37:01Z) - U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。
我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。
実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-05-24T08:58:48Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳(メタデータ) (2024-03-02T00:56:05Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳(メタデータ) (2022-07-07T16:57:21Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。