論文の概要: Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology

• arxiv url: http://arxiv.org/abs/2602.13944v1
• Date: Sun, 15 Feb 2026 00:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.573767
• Title: Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology
• Title（参考訳）: Fusing Pixels and Genes:Computational Pathologyにおける空間認識学習
• Authors: Minghao Han, Dingkang Yang, Linhao Qu, Zizhi Chen, Gang Li, Han Wang, Jiacong Wang, Lihua Zhang,
• Abstract要約: STAMPは空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークである。 本研究は、自己教師型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。 6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。
• 参考スコア（独自算出の注目度）: 46.83014413674925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed remarkable progress in multimodal learning within computational pathology. Existing models primarily rely on vision and language modalities; however, language alone lacks molecular specificity and offers limited pathological supervision, leading to representational bottlenecks. In this paper, we propose STAMP, a Spatial Transcriptomics-Augmented Multimodal Pathology representation learning framework that integrates spatially-resolved gene expression profiles to enable molecule-guided joint embedding of pathology images and transcriptomic data. Our study shows that self-supervised, gene-guided training provides a robust and task-agnostic signal for learning pathology image representations. Incorporating spatial context and multi-scale information further enhances model performance and generalizability. To support this, we constructed SpaVis-6M, the largest Visium-based spatial transcriptomics dataset to date, and trained a spatially-aware gene encoder on this resource. Leveraging hierarchical multi-scale contrastive alignment and cross-scale patch localization mechanisms, STAMP effectively aligns spatial transcriptomics with pathology images, capturing spatial structure and molecular variation. We validate STAMP across six datasets and four downstream tasks, where it consistently achieves strong performance. These results highlight the value and necessity of integrating spatially resolved molecular supervision for advancing multimodal learning in computational pathology. The code is included in the supplementary materials. The pretrained weights and SpaVis-6M are available at: https://github.com/Hanminghao/STAMP.
• Abstract（参考訳）: 近年,計算病理学におけるマルチモーダル学習の進歩が目覚ましい。 既存のモデルは、主に視覚と言語モダリティに頼っているが、言語だけでは分子的特異性に欠けており、病理的な監督が限られており、表現上のボトルネックに繋がる。 本稿では,空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークSTAMPを提案する。 本研究は、自己監督型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。 空間コンテキストとマルチスケール情報を組み込むことで、モデルの性能と一般化性がさらに向上する。 そこで我々は,これまでビシウムをベースとした空間転写学データセットとして最大であるSpaVis-6Mを構築し,空間認識型遺伝子エンコーダをトレーニングした。 階層的マルチスケールのコントラストアライメントとクロススケールのパッチローカライゼーション機構を活用して、STAMPは空間転写学を病理像と効果的に整合させ、空間構造と分子変動を捉える。 6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。 これらの結果は、計算病理学におけるマルチモーダル学習を促進するために、空間的に解決された分子の監督を統合することの価値と必要性を強調している。 コードは補足資料に含まれています。 事前トレーニングされたウェイトとSpaVis-6Mは、https://github.com/Hanminghao/STAMPで利用可能である。

関連論文リスト

• MMAP: A Multi-Magnification and Prototype-Aware Architecture for Predicting Spatial Gene Expression [1.083137038945176]
  空間転写学(Spatial Transcriptomics:ST)は、空間情報を保存しながら遺伝子発現の測定を可能にする。 近年、ヘマトキシリンとエオシン(H&E)による全スライディング画像(WSI)を用いて、ディープニューラルネットワークによる転写産物全体の遺伝子発現プロファイルを予測する研究が進められている。 しかし, 組織像から空間遺伝子発現を予測することは, 視覚的特徴と分子信号との差が大きいため, 依然として難しい問題である。 本研究では,MMAP (Multi-Magnification and Prototype-enhanced Architecture) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T12:41:09Z)
• SPADE: Spatial Transcriptomics and Pathology Alignment Using a Mixture of Data Experts for an Expressive Latent Space [19.44068776198238]
  本研究では,空間転写学データと病理組織学を統合し,画像表現学習を指導する基礎モデルSPADEを紹介する。 SPADEは20のダウンストリームタスクで評価され、ベースラインモデルと比較して非常に優れた数ショット性能を示している。
  論文  参考訳（メタデータ） (2025-06-27T02:20:51Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [57.044719143401664]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics [10.962389869127875]
  我々はUMPIRE(Unified Molecule-enhanced Pathology Image Representationn Learning framework)を紹介する。 UMPIREは、遺伝子発現プロファイルからの相補的な情報を活用して、マルチモーダル事前学習をガイドすることを目的としている。 この分子的視点は、病理画像の埋め込みを学習するための、堅牢でタスクに依存しない訓練信号を提供する。
  論文  参考訳（メタデータ） (2024-12-01T03:09:52Z)
• Multi-modal Spatial Clustering for Spatial Transcriptomics Utilizing High-resolution Histology Images [1.3124513975412255]
  空間転写学(spatial transcriptomics, ST)は、空間的文脈を保ちながら、転写産物全体の遺伝子発現プロファイリングを可能にする。 現在の空間クラスタリング法では、高解像度の組織像と遺伝子発現データを完全に統合することができない。 本稿では、遺伝子発現データと組織像の特徴を融合した、新しいコントラスト学習に基づく深層学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T00:32:24Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。