論文の概要: Cross-modal Diffusion Modelling for Super-resolved Spatial Transcriptomics
- arxiv url: http://arxiv.org/abs/2404.12973v2
- Date: Mon, 27 May 2024 13:43:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 05:57:17.642040
- Title: Cross-modal Diffusion Modelling for Super-resolved Spatial Transcriptomics
- Title（参考訳）: 超解空間転写学におけるクロスモーダル拡散モデリング
- Authors: Xiaofei Wang, Xingxu Huang, Stephen J. Price, Chao Li,
- Abstract要約: 空間転写学は、発見研究のための組織内の空間遺伝子発現を特徴づけることができる。
超高分解能アプローチは、組織像とプロファイルされた組織スポットの遺伝子発現を統合することでSTマップを強化することを約束する。
本稿では, 組織像の誘導による超解像STマップのクロスモーダル拡散モデルを提案する。
- 参考スコア（独自算出の注目度）: 5.020980014307814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent advancement of spatial transcriptomics (ST) allows to characterize spatial gene expression within tissue for discovery research. However, current ST platforms suffer from low resolution, hindering in-depth understanding of spatial gene expression. Super-resolution approaches promise to enhance ST maps by integrating histology images with gene expressions of profiled tissue spots. However, current super-resolution methods are limited by restoration uncertainty and mode collapse. Although diffusion models have shown promise in capturing complex interactions between multi-modal conditions, it remains a challenge to integrate histology images and gene expression for super-resolved ST maps. This paper proposes a cross-modal conditional diffusion model for super-resolving ST maps with the guidance of histology images. Specifically, we design a multi-modal disentangling network with cross-modal adaptive modulation to utilize complementary information from histology images and spatial gene expression. Moreover, we propose a dynamic cross-attention modelling strategy to extract hierarchical cell-to-tissue information from histology images. Lastly, we propose a co-expression-based gene-correlation graph network to model the co-expression relationship of multiple genes. Experiments show that our method outperforms other state-of-the-art methods in ST super-resolution on three public datasets.
- Abstract（参考訳）: 空間転写学(ST)の最近の進歩は、発見研究のために組織内の空間遺伝子発現を特徴づけることを可能にする。
しかし、現在のSTプラットフォームは解像度が低く、空間的遺伝子発現の深い理解を妨げる。
超高分解能アプローチは、組織像とプロファイルされた組織スポットの遺伝子発現を統合することでSTマップを強化することを約束する。
しかし、現在の超解像法は復元の不確実性やモード崩壊によって制限されている。
拡散モデルは, マルチモーダル条件間の複雑な相互作用を捉える上で有望であるが, 超解STマップの組織像と遺伝子発現を統合することは依然として困難である。
本稿では, 組織像の誘導による超解像STマップのクロスモーダル拡散モデルを提案する。
具体的には、組織画像と空間遺伝子発現の相補的な情報を活用するために、多モード適応変調を用いたマルチモーダルディエンタングネットワークを設計する。
さらに,組織像から階層的な細胞間情報を抽出するための動的横断的モデリング手法を提案する。
最後に,複数遺伝子の共発現関係をモデル化するために,共発現に基づく遺伝子相関グラフネットワークを提案する。
実験の結果,本手法は3つの公開データセット上でST超解像における他の最先端手法よりも優れていた。
関連論文リスト
- RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency [11.813883157319381]
ランク付けに基づくアライメント損失を用いて、遺伝子と画像の特徴を整列する新しいフレームワークを提案する。
そこで我々は,教師と学生のネットワークアーキテクチャを用いた自己指導型知識蒸留を用いて,アライメントの安定性をさらに向上させる。
論文 参考訳（メタデータ） (2024-11-22T17:08:28Z) - Multi-modal Spatial Clustering for Spatial Transcriptomics Utilizing High-resolution Histology Images [1.3124513975412255]
空間転写学(spatial transcriptomics, ST)は、空間的文脈を保ちながら、転写産物全体の遺伝子発現プロファイリングを可能にする。
現在の空間クラスタリング法では、高解像度の組織像と遺伝子発現データを完全に統合することができない。
本稿では、遺伝子発現データと組織像の特徴を融合した、新しいコントラスト学習に基づく深層学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T00:32:24Z) - High-Resolution Spatial Transcriptomics from Histology Images using HisToSGE [1.3124513975412255]
HisToSGEは、組織像から高分解能な遺伝子発現プロファイルを生成する。
HisToSGEは高解像度の遺伝子発現プロファイルを生成し、下流タスクを実行するのに優れている。
論文 参考訳（メタデータ） (2024-07-30T03:29:57Z) - Revisiting Adaptive Cellular Recognition Under Domain Shifts: A Contextual Correspondence View [49.03501451546763]
生物学的文脈における暗黙の対応の重要性を明らかにする。
モデル構成成分間のインスタンス認識トレードオフを確保するために, 自己適応型動的蒸留を提案する。
論文 参考訳（メタデータ） (2024-07-14T04:41:16Z) - Multimodal contrastive learning for spatial gene expression prediction using histology images [13.47034080678041]
空間的トランスクリプトミクス表現予測のための Transformer と Densenet-121 エンコーダを用いたマルチモーダルコントラスト学習である textbfmclSTExp を提案する。
textbfmclSTExpは空間的遺伝子発現を予測するのに優れた性能を持つ。
がん特異的な過剰発現遺伝子を解釈し、免疫関連遺伝子を解明し、病理学者によって注釈された特別な空間領域を特定することには、有望であることが示されている。
論文 参考訳（メタデータ） (2024-07-11T06:33:38Z) - GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ
我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文 参考訳（メタデータ） (2024-07-08T01:06:13Z) - Spatially Resolved Gene Expression Prediction from Histology via Multi-view Graph Contrastive Learning with HSIC-bottleneck Regularization [18.554968935341236]
本稿では,HSIC-bottleneck Regularization (ST-GCHB) を用いたマルチビューグラフ比較学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-18T03:07:25Z) - EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。
低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。
大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
論文 参考訳（メタデータ） (2024-01-22T07:34:06Z) - Learned representation-guided diffusion models for large-image generation [58.192263311786824]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。
我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。
実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文 参考訳（メタデータ） (2023-12-12T14:45:45Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳（メタデータ） (2023-03-13T04:06:42Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳（メタデータ） (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。