論文の概要: Cross-modal Diffusion Modelling for Super-resolved Spatial Transcriptomics
- arxiv url: http://arxiv.org/abs/2404.12973v1
- Date: Fri, 19 Apr 2024 16:01:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:26:33.388654
- Title: Cross-modal Diffusion Modelling for Super-resolved Spatial Transcriptomics
- Title(参考訳): 超解空間転写学におけるクロスモーダル拡散モデリング
- Authors: Xiaofei Wang, Xingxu Huang, Stephen J. Price, Chao Li,
- Abstract要約: 空間転写学は、発見研究のための組織内の空間遺伝子発現を特徴づけることができる。
超高分解能アプローチは、組織像とプロファイルされた組織スポットの遺伝子発現を統合することでSTマップを強化することを約束する。
本稿では, 組織像の誘導による超解像STマップのクロスモーダル拡散モデルを提案する。
- 参考スコア(独自算出の注目度): 5.020980014307814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent advancement of spatial transcriptomics (ST) allows to characterize spatial gene expression within tissue for discovery research. However, current ST platforms suffer from low resolution, hindering in-depth understanding of spatial gene expression. Super-resolution approaches promise to enhance ST maps by integrating histology images with gene expressions of profiled tissue spots. However, current super-resolution methods are limited by restoration uncertainty and mode collapse. Although diffusion models have shown promise in capturing complex interactions between multi-modal conditions, it remains a challenge to integrate histology images and gene expression for super-resolved ST maps. This paper proposes a cross-modal conditional diffusion model for super-resolving ST maps with the guidance of histology images. Specifically, we design a multi-modal disentangling network with cross-modal adaptive modulation to utilize complementary information from histology images and spatial gene expression. Moreover, we propose a dynamic cross-attention modelling strategy to extract hierarchical cell-to-tissue information from histology images. Lastly, we propose a co-expression-based gene-correlation graph network to model the co-expression relationship of multiple genes. Experiments show that our method outperforms other state-of-the-art methods in ST super-resolution on three public datasets.
- Abstract(参考訳): 空間転写学(ST)の最近の進歩は、発見研究のために組織内の空間遺伝子発現を特徴づけることを可能にする。
しかし、現在のSTプラットフォームは解像度が低く、空間的遺伝子発現の深い理解を妨げる。
超高分解能アプローチは、組織像とプロファイルされた組織スポットの遺伝子発現を統合することでSTマップを強化することを約束する。
しかし、現在の超解像法は復元の不確実性やモード崩壊によって制限されている。
拡散モデルは, マルチモーダル条件間の複雑な相互作用を捉える上で有望であるが, 超解STマップの組織像と遺伝子発現を統合することは依然として困難である。
本稿では, 組織像の誘導による超解像STマップのクロスモーダル拡散モデルを提案する。
具体的には、組織画像と空間遺伝子発現の相補的な情報を活用するために、多モード適応変調を用いたマルチモーダルディエンタングネットワークを設計する。
さらに,組織像から階層的な細胞間情報を抽出するための動的横断的モデリング手法を提案する。
最後に,複数遺伝子の共発現関係をモデル化するために,共発現に基づく遺伝子相関グラフネットワークを提案する。
実験の結果,本手法は3つの公開データセット上でST超解像における他の最先端手法よりも優れていた。
関連論文リスト
- EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。
低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。
大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
論文 参考訳(メタデータ) (2024-01-22T07:34:06Z) - Learned representation-guided diffusion models for large-image generation [58.192263311786824]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。
我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。
実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文 参考訳(メタデータ) (2023-12-12T14:45:45Z) - The Whole Pathological Slide Classification via Weakly Supervised
Learning [7.313528558452559]
細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。
本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。
次に,隣接行列を用いてタイル間の空間的関係を記述する。
これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
論文 参考訳(メタデータ) (2023-07-12T16:14:23Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z) - Unsupervised ensemble-based phenotyping helps enhance the
discoverability of genes related to heart morphology [57.25098075813054]
我々はUn Phenotype Ensemblesという名の遺伝子発見のための新しいフレームワークを提案する。
教師なしの方法で学習された表現型のセットをプールすることで、冗長だが非常に表現性の高い表現を構築する。
これらの表現型は、(GWAS)を介して分析され、高い自信と安定した関連のみを保持する。
論文 参考訳(メタデータ) (2023-01-07T18:36:44Z) - TFormer: A throughout fusion transformer for multi-modal skin lesion
diagnosis [6.899641625551976]
我々は,MSLDで十分な情報干渉を行うために,純粋なトランスフォーマーベースのTFormer(スルーアウト・フュージョン・トランスフォーマー)を提案する。
そこで我々は,2分岐階層型マルチモーダルトランス (HMT) ブロックのスタックを慎重に設計し,ステージバイステージ方式で異なる画像モダリティ間で情報を融合する。
我々のTFormerは、他の最先端メソッドよりも優れています。
論文 参考訳(メタデータ) (2022-11-21T12:07:05Z) - ISG: I can See Your Gene Expression [13.148183268830879]
本稿では,組織スライド画像から遺伝子発現を正確に予測することを目的とする。
このようなスライド画像は、解像度が大きく、わずかに分散したテクスチャを有する。
既存の遺伝子発現法は主に汎用成分を用いて、テクスチャレス領域をフィルタリングし、特徴を抽出し、各領域を均一に集約する。
3つの新しいモジュールによるテクスチャ境界領域からの識別的特徴間の相互作用を利用するISGフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-30T02:49:37Z) - A Self-attention Guided Multi-scale Gradient GAN for Diversified X-ray
Image Synthesis [0.6308539010172307]
GAN(Generative Adversarial Networks)を用いて,合成画像の生成によるデータ制限問題に対処する。
モード崩壊、非収束、不安定といったトレーニング課題は、多彩で高品質な画像の合成において、GANのパフォーマンスを低下させる。
本研究では,バイオメディカル画像の特徴の長距離依存性の関係をモデル化する,注意誘導型マルチスケール勾配GANアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-09T13:17:17Z) - A Multiscale Graph Convolutional Network for Change Detection in
Homogeneous and Heterogeneous Remote Sensing Images [12.823633963080281]
リモートセンシング画像における変化検出(CD)は、常に研究の領域を広げています。
本稿では,グラフ畳み込みネットワーク(gcn)に基づく新しいcd法と,均質画像と異種画像の両方に対して多スケールオブジェクトベース手法を提案する。
論文 参考訳(メタデータ) (2021-02-16T09:26:31Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。