Fugu-MT 論文翻訳(概要): Multimodal contrastive learning for spatial gene expression prediction using histology images

論文の概要: Multimodal contrastive learning for spatial gene expression prediction using histology images

arxiv url: http://arxiv.org/abs/2407.08216v1
Date: Thu, 11 Jul 2024 06:33:38 GMT
ステータス: 処理完了
システム内更新日: 2024-07-12 18:39:04.678898
Title: Multimodal contrastive learning for spatial gene expression prediction using histology images
Title（参考訳）: 組織像を用いた空間的遺伝子発現予測のためのマルチモーダルコントラスト学習
Authors: Wenwen Min, Zhiceng Shi, Jun Zhang, Jun Wan, Changmiao Wang,
Abstract要約: 空間的トランスクリプトミクス表現予測のための Transformer と Densenet-121 エンコーダを用いたマルチモーダルコントラスト学習である textbfmclSTExp を提案する。 textbfmclSTExpは空間的遺伝子発現を予測するのに優れた性能を持つ。がん特異的な過剰発現遺伝子を解釈し、免疫関連遺伝子を解明し、病理学者によって注釈された特別な空間領域を特定することには、有望であることが示されている。
参考スコア（独自算出の注目度）: 13.47034080678041
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, the advent of spatial transcriptomics (ST) technology has unlocked unprecedented opportunities for delving into the complexities of gene expression patterns within intricate biological systems. Despite its transformative potential, the prohibitive cost of ST technology remains a significant barrier to its widespread adoption in large-scale studies. An alternative, more cost-effective strategy involves employing artificial intelligence to predict gene expression levels using readily accessible whole-slide images (WSIs) stained with Hematoxylin and Eosin (H\&E). However, existing methods have yet to fully capitalize on multimodal information provided by H&E images and ST data with spatial location. In this paper, we propose \textbf{mclSTExp}, a multimodal contrastive learning with Transformer and Densenet-121 encoder for Spatial Transcriptomics Expression prediction. We conceptualize each spot as a "word", integrating its intrinsic features with spatial context through the self-attention mechanism of a Transformer encoder. This integration is further enriched by incorporating image features via contrastive learning, thereby enhancing the predictive capability of our model. Our extensive evaluation of \textbf{mclSTExp} on two breast cancer datasets and a skin squamous cell carcinoma dataset demonstrates its superior performance in predicting spatial gene expression. Moreover, mclSTExp has shown promise in interpreting cancer-specific overexpressed genes, elucidating immune-related genes, and identifying specialized spatial domains annotated by pathologists. Our source code is available at https://github.com/shizhiceng/mclSTExp.
Abstract（参考訳）: 近年、空間転写学(ST)技術の出現は、複雑な生物学的システム内の遺伝子発現パターンの複雑さを解明する前例のない機会を開拓している。変革の可能性にもかかわらず、ST技術の禁止コストは、大規模な研究において広く普及する上で重要な障壁である。代案として、よりコスト効率のよい戦略として、人工知能を用いて、HematoxylinとEosin(H\&E)で染色された、アクセスしやすい全スライディング画像(WSI)を使用して遺伝子発現レベルを予測する方法がある。しかし,既存の手法では,空間的位置を持つH&E画像やSTデータから得られるマルチモーダル情報を十分に活用できていない。本稿では,Transformer と Densenet-121 エンコーダを用いたマルチモーダルコントラスト学習である \textbf{mclSTExp} を提案する。本研究では,トランスフォーマーエンコーダの自己保持機構を通じて,各スポットを「単語」として概念化し,その固有の特徴を空間的コンテキストと統合する。この統合は、コントラスト学習を通じて画像特徴を取り入れることでさらに強化され、それによってモデルの予測能力が向上する。 2つの乳癌データセットと皮膚扁平上皮癌データセットに対するtextbf{mclSTExp}の広範な評価は、空間的遺伝子発現を予測する上で優れた性能を示す。さらに、mclSTExpは、癌特異的過剰発現遺伝子を解釈し、免疫関連遺伝子を解明し、病理学者によって注釈された特定の空間領域を同定する、という約束を示した。ソースコードはhttps://github.com/shizhiceng/mclSTExp.comで公開されています。

関連論文リスト

Multi-modal Spatial Clustering for Spatial Transcriptomics Utilizing High-resolution Histology Images [1.3124513975412255]
空間転写学(spatial transcriptomics, ST)は、空間的文脈を保ちながら、転写産物全体の遺伝子発現プロファイリングを可能にする。現在の空間クラスタリング法では、高解像度の組織像と遺伝子発現データを完全に統合することができない。本稿では、遺伝子発現データと組織像の特徴を融合した、新しいコントラスト学習に基づく深層学習手法を提案する。
論文参考訳（メタデータ） (2024-10-31T00:32:24Z)
SpaDiT: Diffusion Transformer for Spatial Gene Expression Prediction using scRNA-seq [9.624390863643109]
SpaDiTは、検出されていない遺伝子の予測のために、scRNA-seqとSTデータを統合したディープラーニング手法である。本研究では,SpaDiTの有効性を,Seqベースおよび画像ベースSTデータの両方で広範な実験により実証した。
論文参考訳（メタデータ） (2024-07-18T05:40:50Z)
stEnTrans: Transformer-based deep learning for spatial transcriptomics enhancement [1.3124513975412255]
本研究では,トランスフォーマーアーキテクチャに基づくディープラーニング手法であるstEnTransを提案する。 stEnTransを6つのデータセット上で評価した結果, スポット分解能の向上と未測定領域での遺伝子発現の予測において, 優れた性能を示した。
論文参考訳（メタデータ） (2024-07-11T06:50:34Z)
Multimodal Prototyping for cancer survival prediction [45.61869793509184]
ギガピクセルヒストロジー全体スライディング画像(WSI)と転写学的プロファイルを組み合わせたマルチモーダルサバイバル法は,患者の予後と成層化に特に有望である。現在のアプローチでは、WSIを小さなパッチ(>10,000パッチ)にトークン化し、トランスクリプトミクスを遺伝子グループに分割し、結果を予測するためにTransformerを使用して統合する。このプロセスは多くのトークンを生成し、これは注意を計算するための高いメモリ要求をもたらし、ポストホック解釈可能性分析を複雑にする。我々のフレームワークは、新しい解釈可能性解析を解き放ちながら、はるかに少ない計算で最先端の手法より優れている。
論文参考訳（メタデータ） (2024-06-28T20:37:01Z)
Spatially Resolved Gene Expression Prediction from Histology via Multi-view Graph Contrastive Learning with HSIC-bottleneck Regularization [18.554968935341236]
本稿では,HSIC-bottleneck Regularization (ST-GCHB) を用いたマルチビューグラフ比較学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-06-18T03:07:25Z)
VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
論文参考訳（メタデータ） (2024-05-13T20:15:03Z)
Learned representation-guided diffusion models for large-image generation [58.192263311786824]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文参考訳（メタデータ） (2023-12-12T14:45:45Z)
Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies [50.11449968854487]
遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
論文参考訳（メタデータ） (2023-09-26T03:59:21Z)
SEPAL: Spatial Gene Expression Prediction from Local Graphs [1.4523812806185954]
視覚組織の外観から遺伝子プロファイルを予測する新しいモデルであるSEPALを提案する。本手法は, 平均表現に対する相対差を直接観察することにより, 問題の生物学的バイアスを生かしている。そこで本研究では,転写学における現在のベストプラクティスに従うことにより,タスクをより適切に定義することを目的とした新しいベンチマークを提案する。
論文参考訳（メタデータ） (2023-09-02T23:24:02Z)
Hierarchical Transformer for Survival Prediction Using Multimodality Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文参考訳（メタデータ） (2022-11-29T23:47:56Z)
G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。