論文の概要: GATE-ST: Gene-Aware Text-image Encoder for Spatial Transcriptomics

• arxiv url: http://arxiv.org/abs/2609.38690v1
• Date: Wed, 30 Sep 2026 00:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.874014
• Title: GATE-ST: Gene-Aware Text-image Encoder for Spatial Transcriptomics
• Title（参考訳）: GATE-ST:空間転写学のための遺伝子対応テキスト画像エンコーダ
• Abstract要約: GATE-STはテキストベースの入力を画像ベースの空間的遺伝子発現予測に組み込む。 ジェネリックサマリーはテキストエンコーダを通じて入力され、画像埋め込みと統合して形態的特徴と整合する埋め込みを生成する。
• 参考スコア（独自算出の注目度）: 8.16945252175354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial transcriptomics enables spatially resolved gene expression analysis from slide-level images while preserving morphological features, providing valuable information for studying disease mechanisms and developing treatments. However, spatial gene expression profiling typically requires expensive and time-consuming tests. While existing image-based prediction optimizations mostly revolve around including positional embeddings and further image-based changes, text-based optimizations remain relatively unexplored. We present GATE-ST, which incorporates text-based inputs into image-based spatial gene expression predictions. With this approach, generated text descriptions of genes are utilized to better spatial transcriptomics prediction results. Gene summaries are put through a text encoder, generating embeddings that integrate with image embeddings through cross-attention layers to align with morphological features. We demonstrate the effectiveness of such text inputs by benchmarking performance against random gene embeddings and multiple other image-text fusion architectures, and show that GATE-ST outperforms these alternatives. Our results demonstrate the effectiveness of GATE-ST in pathology imaging, which may greatly reduce the time and cost of accurate spatial transcriptomic predictions, proving the potential of text-guided spatial gene expression prediction.
• Abstract（参考訳）: 空間転写学は、形態的特徴を保持しつつスライドレベルの画像から空間的に解決された遺伝子発現解析を可能にし、疾患のメカニズムの研究や治療の開発に有用な情報を提供する。 しかし、空間的遺伝子発現プロファイリングは通常、高価で時間を要する。 既存の画像ベースの予測最適化は、位置埋め込みや画像ベースのさらなる変更などを中心に展開されているが、テキストベースの最適化はいまだに探索されていない。 本稿では、テキストベースの入力を画像ベースの空間的遺伝子発現予測に組み込んだGATE-STを提案する。 このアプローチでは、生成した遺伝子のテキスト記述を利用して、空間転写学の予測結果を改善する。 ジェネレーションの要約はテキストエンコーダを通じて入力され、画像の埋め込みとクロスアテンション層を通して統合され、形態的特徴と整合する埋め込みを生成する。 本稿では、ランダムな遺伝子埋め込みや他の複数の画像テキスト融合アーキテクチャに対して性能をベンチマークすることで、このようなテキスト入力の有効性を実証し、GATE-STがこれらの代替よりも優れていることを示す。 画像診断におけるGATE-STの有効性は, 正確な空間転写予測の時間とコストを大幅に削減し, テキストガイドによる空間遺伝子発現予測の可能性を示した。

関連論文リスト

• Contrastive and Adaptive Multi-modal Masked Autoencoder for Spatial Transcriptomics [9.067087306213525]
  我々は、部分的な遺伝子発現を用いて、組織像とともに予測過程を導出する。 本研究では,masked Autoencoder (MAE) を用いて,少数の遺伝子発現を遺伝子アンカーとして利用し,全スライディング遺伝子発現プロファイルを推定する。 我々のフレームワークは、ヒストロジのみの予測と空間的計算の両方において、既存の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-19T06:47:55Z)
• Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
  Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。 Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-06T06:17:41Z)
• Learning from Gene Names, Expression Values and Images: Contrastive Masked Text-Image Pretraining for Spatial Transcriptomics Representation Learning [2.234171233882506]
  CoMTIPはContrastive Masked Text-Image Pretrainingフレームワークである。 画像、遺伝子名、表現値から学習し、空間転写学の微粒な視覚的コンテキストをキャプチャする。 CoMTIPは、様々な下流タスクにおける従来の手法を超えるだけでなく、ゼロショットの遺伝子発現予測も達成している。
  論文  参考訳（メタデータ） (2025-09-21T03:05:17Z)
• MERGE: Multi-faceted Hierarchical Graph-based GNN for Gene Expression Prediction from Whole Slide Histopathology Images [6.717786190771243]
  MERGE(Multifaceted hiErarchical gRaph for Gene Expressions)を導入し、階層グラフ構築戦略とグラフニューラルネットワーク(GNN)を組み合わせて、スライド画像全体の遺伝子発現予測を改善する。 組織像パッチを空間的特徴と形態的特徴の両方に基づいてクラスタリングすることにより,GNN学習における遠隔組織間の相互作用を促進する。 さらに,STデータ中のアーティファクトを緩和するために必要な異なるデータ平滑化技術の評価を行った。
  論文  参考訳（メタデータ） (2024-12-03T17:32:05Z)
• Multimodal contrastive learning for spatial gene expression prediction using histology images [13.47034080678041]
  空間的トランスクリプトミクス表現予測のための Transformer と Densenet-121 エンコーダを用いたマルチモーダルコントラスト学習である textbfmclSTExp を提案する。 textbfmclSTExpは空間的遺伝子発現を予測するのに優れた性能を持つ。 がん特異的な過剰発現遺伝子を解釈し、免疫関連遺伝子を解明し、病理学者によって注釈された特別な空間領域を特定することには、有望であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T06:33:38Z)
• Spatially Resolved Gene Expression Prediction from Histology via Multi-view Graph Contrastive Learning with HSIC-bottleneck Regularization [18.554968935341236]
  本稿では,HSIC-bottleneck Regularization (ST-GCHB) を用いたマルチビューグラフ比較学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-18T03:07:25Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。 Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。 本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:19:52Z)
• Improving Generalization of Image Captioning with Unsupervised Prompt Learning [63.26197177542422]
  画像キャプションの一般化(GeneIC)は、アノテーション付きデータを必要とせずに、ターゲットドメインのドメイン固有のプロンプトベクトルを学習する。 GeneICは、学習済みのContrastive Language-Image Pre-Training (CLIP)モデルと視覚的および言語的モダリティを一致させる。
  論文  参考訳（メタデータ） (2023-08-05T12:27:01Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。