Fugu-MT 論文翻訳(概要): HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning

論文の概要: HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning

arxiv url: http://arxiv.org/abs/2611.02681v1
Date: Mon, 02 Nov 2026 07:36:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-11 19:46:14.738223
Title: HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning
Title（参考訳）: HistoTx:H&E画像と空間転写学の初期融合 : 自己教師学習による空間転写学の解明
Abstract要約: 本稿では,任意の空間分解能で書き起こしトークンを構築できる早期融合型視覚変換器アーキテクチャを提案する。我々は、ペア画像と空間転写学のデータに基づいて、自己教師付き事前学習を継続することにより、HistoTxを訓練する。両方のモダリティが推論で利用可能である場合、画像と書き起こしの入力を共同で提供すれば、モダリティ単独でパフォーマンスが向上する。
参考スコア（独自算出の注目度）: 3.990390804539429
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spatial transcriptomics maps gene expression across tissue sections and, when integrated with whole slide images, jointly captures both morphological architecture and molecular activity to provide a rich, multimodal view of tissue biology. ML approaches combining spatial transcriptomics and WSIs typically learn a mapping from morphological features to molecular profiles via contrastive alignment or supervised fine-tuning of pathology foundation models. In both cases, transcriptomics serves as a training signal rather than a true input modality, leaving inference fundamentally image-driven. We propose an early-fusion vision transformer architecture in which transcript tokens are constructed at arbitrary spatial resolution, merged with image patch tokens, and jointly processed through a shared transformer stack for deep cross-modal interaction. Starting from a pretrained vision-only pathology foundation model, we train HistoTx by continuing self-supervised pretraining on paired image and spatial transcriptomics data and demonstrate that: 1) at inference with image only, performance remains on par with the baseline on most tasks while improving on tasks that inherently benefit from molecular knowledge, such as gene expression prediction; 2) when both modalities are available at inference, jointly providing image and transcript inputs outperforms either modality alone.
Abstract（参考訳）: 空間転写学は、組織セクション間で遺伝子発現をマッピングし、スライド画像全体と統合すると、形態学的アーキテクチャと分子活動の両方を共同でキャプチャして、組織生物学のリッチでマルチモーダルなビューを提供する。空間転写学とWSIを組み合わせたMLアプローチは、典型的には、形態的特徴から分子プロファイルへのマッピングを、コントラスト的なアライメントや、病理基盤モデルの教師付き微調整によって学習する。どちらの場合も、トランスクリプトミクスは真の入力モダリティではなく訓練信号として機能し、推論は基本的にイメージ駆動である。本稿では,任意の空間解像度で書き起こしトークンを構築し,画像パッチトークンとマージし,共有変換器スタックを通じて相互に処理する,早期融合型視覚変換器アーキテクチャを提案する。事前訓練された視力のみの病理基盤モデルから始め、ペア画像と空間転写学のデータに基づいて自己教師付き事前訓練を継続してHistoTxを訓練し、それを実証する。 1)画像のみによる推測では、ほとんどのタスクのベースラインと同等のパフォーマンスを維持しつつ、遺伝子発現予測などの分子的知識から本質的に恩恵を受けるタスクを改善している。 2) 両方のモダリティが推論で利用可能である場合,画像入力と書き起こし入力を共同で提供すれば,モダリティ単独で性能が向上する。

関連論文リスト

GESTALT: Fast, Generalizable Histopathology Image Synthesis from Gene Expression with Pretrained Pathology Foundation Models [74.68133374118322]
本稿では,病理基盤モデルのイメージ埋め込みを予測するため,遺伝子発現と画像合成を再構成するGESTALTを提案する。この視覚的知識は疎外されるのではなく再利用されるため、GESTALTはわずかな時間で訓練を行う。 GESTALTは、我々の知る限り、細胞の種類、密度、組成をはっきりと制御した細胞分解転写領域と組織像の初めてのペア合成を提供する。
論文参考訳（メタデータ） (2026-10-31T17:31:24Z)
Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology [46.83014413674925]
STAMPは空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークである。本研究は、自己教師型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。 6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。
論文参考訳（メタデータ） (2026-02-15T00:59:13Z)
Plasticine: A Traceable Diffusion Model for Medical Image Translation [79.39689106440389]
我々は、私たちの知る限り、トレーサビリティを主目的として明示的に設計された最初のエンドツーエンド画像変換フレームワークであるPlasticineを提案する。本手法は,デノナイジング拡散フレームワーク内での強度変換と空間変換を組み合わせた手法である。この設計により、解釈可能な強度遷移と空間的コヒーレントな変形を持つ合成画像の生成が可能となり、翻訳プロセス全体を通してピクセルワイドトレーサビリティをサポートする。
論文参考訳（メタデータ） (2025-12-20T18:01:57Z)
HyperST: Hierarchical Hyperbolic Learning for Spatial Transcriptomics Prediction [27.112338738174614]
組織像から遺伝子発現を予測することは、高価なST技術に代わる費用対効果がある。ハイパーボリック空間内のデータ固有の階層をモデル化し,マルチレベルな画像生成表現を学習する,ST予測のためのフレームワークHyperSTを提案する。 HyperSTは、異なる組織から4つのパブリックデータセットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-11-27T04:56:16Z)
SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome [0.5748432401788427]
HE画像の階層的表現と空間トランスクリプトームプロファイルを学習するためのマルチモーダルコントラストアライメントフレームワークであるSigmmaを提案する。細胞間相互作用をグラフとして表現することにより,組織内微小環境内での微細な細胞間相互作用を効果的に捉えることができる。我々は、Sigmmが、クロスモーダル対応をよりよく捉えた表現を学習し、遺伝子発現予測タスクの9.78%、データセット間のクロスモーダル検索タスクの26.93%の改善をもたらすことを実証した。
論文参考訳（メタデータ） (2025-11-19T14:22:23Z)
Learning from Gene Names, Expression Values and Images: Contrastive Masked Text-Image Pretraining for Spatial Transcriptomics Representation Learning [2.234171233882506]
CoMTIPはContrastive Masked Text-Image Pretrainingフレームワークである。画像、遺伝子名、表現値から学習し、空間転写学の微粒な視覚的コンテキストをキャプチャする。 CoMTIPは、様々な下流タスクにおける従来の手法を超えるだけでなく、ゼロショットの遺伝子発現予測も達成している。
論文参考訳（メタデータ） (2025-09-21T03:05:17Z)
DELST: Dual Entailment Learning for Hyperbolic Image-Gene Pretraining in Spatial Transcriptomics [38.94542898899791]
画像生成事前学習のための階層をモデル化しながら,双曲表現を組み込む最初のフレームワークであるDELSTを提案する。本フレームワークは,既存手法と比較して予測性能の向上を実現している。
論文参考訳（メタデータ） (2025-03-02T09:00:09Z)
Progressive Retinal Image Registration via Global and Local Deformable Transformations [49.032894312826244]
我々はHybridRetinaと呼ばれるハイブリッド登録フレームワークを提案する。キーポイント検出器とGAMorphと呼ばれる変形ネットワークを用いて、大域的な変換と局所的な変形可能な変換を推定する。 FIREとFLoRI21という2つの広く使われているデータセットの実験により、提案したHybridRetinaは最先端の手法よりも大幅に優れていることが示された。
論文参考訳（メタデータ） (2024-09-02T08:43:50Z)
Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文参考訳（メタデータ） (2023-01-11T16:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。