論文の概要: Towards Spatial Transcriptomics-driven Pathology Foundation Models
- arxiv url: http://arxiv.org/abs/2602.14177v1
- Date: Sun, 15 Feb 2026 15:06:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.68425
- Title: Towards Spatial Transcriptomics-driven Pathology Foundation Models
- Title(参考訳): 空間的トランスクリプトミクスによる病理基盤モデルに向けて
- Authors: Konstantin Hemker, Andrew H. Song, Cristina Almagro-Pérez, Guillaume Jaume, Sophia J. Wagner, Anurag Vaidya, Nikola Simidjievski, Mateja Jamnik, Faisal Mahmood,
- Abstract要約: 本稿では、局所的な分子情報を病理視覚エンコーダに注入するビジョン・オミクス自己教師型学習フレームワークを提案する。
腫瘍および14臓器の正常サンプルにまたがる70,000対の遺伝子の発現スポット-tissue領域のトレーニングによりSEALをインスタンス化する。
SEALエンコーダは、アウト・オブ・ディストリビューションに堅牢なドメイン一般化を示し、遺伝子対イメージ検索のような新しいクロスモーダル機能を実現する。
- 参考スコア(独自算出の注目度): 32.70436266943553
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spatial transcriptomics (ST) provides spatially resolved measurements of gene expression, enabling characterization of the molecular landscape of human tissue beyond histological assessment as well as localized readouts that can be aligned with morphology. Concurrently, the success of multimodal foundation models that integrate vision with complementary modalities suggests that morphomolecular coupling between local expression and morphology can be systematically used to improve histological representations themselves. We introduce Spatial Expression-Aligned Learning (SEAL), a vision-omics self-supervised learning framework that infuses localized molecular information into pathology vision encoders. Rather than training new encoders from scratch, SEAL is designed as a parameter-efficient vision-omics finetuning method that can be flexibly applied to widely used pathology foundation models. We instantiate SEAL by training on over 700,000 paired gene expression spot-tissue region examples spanning tumor and normal samples from 14 organs. Tested across 38 slide-level and 15 patch-level downstream tasks, SEAL provides a drop-in replacement for pathology foundation models that consistently improves performance over widely used vision-only and ST prediction baselines on slide-level molecular status, pathway activity, and treatment response prediction, as well as patch-level gene expression prediction tasks. Additionally, SEAL encoders exhibit robust domain generalization on out-of-distribution evaluations and enable new cross-modal capabilities such as gene-to-image retrieval. Our work proposes a general framework for ST-guided finetuning of pathology foundation models, showing that augmenting existing models with localized molecular supervision is an effective and practical step for improving visual representations and expanding their cross-modal utility.
- Abstract(参考訳): 空間転写学 (Spatial transcriptomics, ST) は、空間的に解決された遺伝子発現の測定を提供し、組織学的評価を超えてヒト組織の分子的景観を特徴づけると共に、形態学的に整合できる局所的な読み出しを可能にする。
同時に、視覚を相補的なモダリティと統合するマルチモーダル基盤モデルの成功は、局所的な表現と形態学の間の形態分子的結合が組織学的表現自体を改善するために体系的に使用できることを示唆している。
本稿では,局所的な分子情報を病的視覚エンコーダに注入する視覚美学の自己教師型学習フレームワークであるSpatial Expression-Aligned Learning (SEAL)を紹介する。
新たなエンコーダをゼロからトレーニングする代わりに、SEALはパラメータ効率のよい視覚-美学微調整法として設計されており、広く使用されている病理基盤モデルに柔軟に適用できる。
腫瘍および14臓器の正常サンプルにまたがる70,000対の遺伝子の発現スポット-tissue領域のトレーニングによりSEALをインスタンス化する。
38のスライドレベルと15のダウンストリームタスクでテストされ、SEALは、広く使われている視覚のみのモデルとST予測のベースライン、スライドレベルの分子状態、経路活性、治療反応予測、およびパッチレベルの遺伝子発現予測タスクに対するパフォーマンスを一貫して改善する、病理基盤モデルのドロップイン置換を提供する。
さらに、SEALエンコーダは、配布外評価に対して堅牢なドメイン一般化を示し、遺伝子対イメージ検索のような新しいクロスモーダル機能を実現する。
本研究は,STガイドによる病理基盤モデルの微調整のための一般的な枠組みを提案し,局所的な分子制御による既存モデルの拡張は,視覚的表現を改善し,それらの横断的有用性を拡張するための有効かつ実用的なステップであることを示す。
関連論文リスト
- Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology [46.83014413674925]
STAMPは空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークである。
本研究は、自己教師型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。
6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。
論文 参考訳(メタデータ) (2026-02-15T00:59:13Z) - Do Pathology Foundation Models Encode Disease Progression? A Pseudotime Analysis of Visual Representations [0.0]
視覚基礎モデルは、独立した静的観測から連続的なプロセスを表現することを暗黙的に学習できることを示します。
このフレームワークは、静的スナップショットを通じて継続的プロセスが観察される他のドメインに適用できる。
論文 参考訳(メタデータ) (2026-01-29T06:50:43Z) - SAGE-FM: A lightweight and interpretable spatial transcriptomics foundation model [2.060288975192133]
グラフ畳み込みネットワーク(GCN)に基づく軽量空間転写基盤モデルであるSAGE-FMを紹介する。
SAGE-FMは、15個の臓器にまたがる416個のヒトのビシウムサンプルに基づいて、マスクされた遺伝子を確実に回収する空間的に整合した埋め込みを学習する。
以上の結果から,GCNは大規模空間転写学において生物学的に解釈可能かつ空間的に認識可能な基礎モデルとして機能することが示唆された。
論文 参考訳(メタデータ) (2026-01-21T22:22:38Z) - PathoHR: Hierarchical Reasoning for Vision-Language Models in Pathology [3.459714932882085]
現在の視覚言語(VL)モデルは、構造化された病理報告の解釈に必要な複雑な推論を捉えるのに苦労することが多い。
病理領域内での階層的意味理解と構成的推論におけるVLモデルの能力を評価するために設計された新しいベンチマークであるPathoHR-Benchを提案する。
さらに、マルチモーダルコントラスト学習のための拡張および摂動サンプルを生成する、病理特異的なVLトレーニングスキームを導入する。
論文 参考訳(メタデータ) (2025-09-07T15:42:38Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳(メタデータ) (2025-08-07T07:09:31Z) - Integrating Pathology Foundation Models and Spatial Transcriptomics for Cellular Decomposition from Histology Images [0.0]
組織像から直接細胞組成を予測するための軽量で訓練効率の良い手法を提案する。
細胞2位法により誘導される細胞型多量体に対する軽量多層パーセプトロン (MLP) レジストレータの訓練により, 本手法は病理基盤モデルから効率的に知識を抽出する。
論文 参考訳(メタデータ) (2025-07-09T16:43:04Z) - Teaching pathology foundation models to accurately predict gene expression with parameter efficient knowledge transfer [1.5416321520529301]
PEKA(Efficient Knowledge Adaptation)は、クロスモーダルな知識伝達のための知識蒸留と構造アライメント損失を統合する新しいフレームワークである。
複数の空間転写学データセットを用いた遺伝子発現予測のためのPEKAの評価を行った。
論文 参考訳(メタデータ) (2025-04-09T17:24:41Z) - MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [57.044719143401664]
病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。
モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。
がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-03-01T07:02:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。