論文の概要: Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology
- arxiv url: http://arxiv.org/abs/2602.13944v1
- Date: Sun, 15 Feb 2026 00:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.573767
- Title: Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology
- Title（参考訳）: Fusing Pixels and Genes:Computational Pathologyにおける空間認識学習
- Authors: Minghao Han, Dingkang Yang, Linhao Qu, Zizhi Chen, Gang Li, Han Wang, Jiacong Wang, Lihua Zhang,
- Abstract要約: STAMPは空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークである。
本研究は、自己教師型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。
6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。
- 参考スコア（独自算出の注目度）: 46.83014413674925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed remarkable progress in multimodal learning within computational pathology. Existing models primarily rely on vision and language modalities; however, language alone lacks molecular specificity and offers limited pathological supervision, leading to representational bottlenecks. In this paper, we propose STAMP, a Spatial Transcriptomics-Augmented Multimodal Pathology representation learning framework that integrates spatially-resolved gene expression profiles to enable molecule-guided joint embedding of pathology images and transcriptomic data. Our study shows that self-supervised, gene-guided training provides a robust and task-agnostic signal for learning pathology image representations. Incorporating spatial context and multi-scale information further enhances model performance and generalizability. To support this, we constructed SpaVis-6M, the largest Visium-based spatial transcriptomics dataset to date, and trained a spatially-aware gene encoder on this resource. Leveraging hierarchical multi-scale contrastive alignment and cross-scale patch localization mechanisms, STAMP effectively aligns spatial transcriptomics with pathology images, capturing spatial structure and molecular variation. We validate STAMP across six datasets and four downstream tasks, where it consistently achieves strong performance. These results highlight the value and necessity of integrating spatially resolved molecular supervision for advancing multimodal learning in computational pathology. The code is included in the supplementary materials. The pretrained weights and SpaVis-6M are available at: https://github.com/Hanminghao/STAMP.
- Abstract（参考訳）: 近年,計算病理学におけるマルチモーダル学習の進歩が目覚ましい。
既存のモデルは、主に視覚と言語モダリティに頼っているが、言語だけでは分子的特異性に欠けており、病理的な監督が限られており、表現上のボトルネックに繋がる。
本稿では,空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークSTAMPを提案する。
本研究は、自己監督型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。
空間コンテキストとマルチスケール情報を組み込むことで、モデルの性能と一般化性がさらに向上する。
そこで我々は,これまでビシウムをベースとした空間転写学データセットとして最大であるSpaVis-6Mを構築し,空間認識型遺伝子エンコーダをトレーニングした。
階層的マルチスケールのコントラストアライメントとクロススケールのパッチローカライゼーション機構を活用して、STAMPは空間転写学を病理像と効果的に整合させ、空間構造と分子変動を捉える。
6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。
これらの結果は、計算病理学におけるマルチモーダル学習を促進するために、空間的に解決された分子の監督を統合することの価値と必要性を強調している。
コードは補足資料に含まれています。
事前トレーニングされたウェイトとSpaVis-6Mは、https://github.com/Hanminghao/STAMPで利用可能である。
関連論文リスト
- MMAP: A Multi-Magnification and Prototype-Aware Architecture for Predicting Spatial Gene Expression [1.083137038945176]
空間転写学(Spatial Transcriptomics:ST)は、空間情報を保存しながら遺伝子発現の測定を可能にする。
近年、ヘマトキシリンとエオシン(H&E)による全スライディング画像(WSI)を用いて、ディープニューラルネットワークによる転写産物全体の遺伝子発現プロファイルを予測する研究が進められている。
しかし, 組織像から空間遺伝子発現を予測することは, 視覚的特徴と分子信号との差が大きいため, 依然として難しい問題である。
本研究では,MMAP (Multi-Magnification and Prototype-enhanced Architecture) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-13T12:41:09Z) - SPADE: Spatial Transcriptomics and Pathology Alignment Using a Mixture of Data Experts for an Expressive Latent Space [19.44068776198238]
本研究では,空間転写学データと病理組織学を統合し,画像表現学習を指導する基礎モデルSPADEを紹介する。
SPADEは20のダウンストリームタスクで評価され、ベースラインモデルと比較して非常に優れた数ショット性能を示している。
論文 参考訳（メタデータ） (2025-06-27T02:20:51Z) - MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [57.044719143401664]
病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。
モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。
がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-03-01T07:02:30Z) - Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics [10.962389869127875]
我々はUMPIRE(Unified Molecule-enhanced Pathology Image Representationn Learning framework)を紹介する。
UMPIREは、遺伝子発現プロファイルからの相補的な情報を活用して、マルチモーダル事前学習をガイドすることを目的としている。
この分子的視点は、病理画像の埋め込みを学習するための、堅牢でタスクに依存しない訓練信号を提供する。
論文 参考訳（メタデータ） (2024-12-01T03:09:52Z) - Multi-modal Spatial Clustering for Spatial Transcriptomics Utilizing High-resolution Histology Images [1.3124513975412255]
空間転写学(spatial transcriptomics, ST)は、空間的文脈を保ちながら、転写産物全体の遺伝子発現プロファイリングを可能にする。
現在の空間クラスタリング法では、高解像度の組織像と遺伝子発現データを完全に統合することができない。
本稿では、遺伝子発現データと組織像の特徴を融合した、新しいコントラスト学習に基づく深層学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T00:32:24Z) - Multimodal contrastive learning for spatial gene expression prediction using histology images [13.47034080678041]
空間的トランスクリプトミクス表現予測のための Transformer と Densenet-121 エンコーダを用いたマルチモーダルコントラスト学習である textbfmclSTExp を提案する。
textbfmclSTExpは空間的遺伝子発現を予測するのに優れた性能を持つ。
がん特異的な過剰発現遺伝子を解釈し、免疫関連遺伝子を解明し、病理学者によって注釈された特別な空間領域を特定することには、有望であることが示されている。
論文 参考訳（メタデータ） (2024-07-11T06:33:38Z) - Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - PCRLv2: A Unified Visual Information Preservation Framework for
Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。
また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。
提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
論文 参考訳（メタデータ） (2023-01-02T17:47:27Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z) - Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。
対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。
R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
論文 参考訳（メタデータ） (2020-12-07T05:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。