論文の概要: DELST: Dual Entailment Learning for Hyperbolic Image-Gene Pretraining in Spatial Transcriptomics

• arxiv url: http://arxiv.org/abs/2503.00804v1
• Date: Sun, 02 Mar 2025 09:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:19.737752
• Title: DELST: Dual Entailment Learning for Hyperbolic Image-Gene Pretraining in Spatial Transcriptomics
• Title（参考訳）: DELST:空間転写学における双対学習による双曲的画像生成
• Authors: Xulin Chen, Junzhou Huang,
• Abstract要約: 画像生成事前学習のための階層をモデル化しながら,双曲表現を組み込む最初のフレームワークであるDELSTを提案する。 本フレームワークは,既存手法と比較して予測性能の向上を実現している。
• 参考スコア（独自算出の注目度）: 38.94542898899791
• License:
• Abstract: Spatial transcriptomics (ST) maps gene expression within tissue at individual spots, making it a valuable resource for multimodal representation learning. Additionally, ST inherently contains rich hierarchical information both across and within modalities. For instance, different spots exhibit varying numbers of nonzero gene expressions, corresponding to different levels of cellular activity and semantic hierarchies. However, existing methods rely on contrastive alignment of image-gene pairs, failing to accurately capture the intricate hierarchical relationships in ST data. Here, we propose DELST, the first framework to embed hyperbolic representations while modeling hierarchy for image-gene pretraining at two levels: (1) Cross-modal entailment learning, which establishes an order relationship between genes and images to enhance image representation generalization; (2) Intra-modal entailment learning, which encodes gene expression patterns as hierarchical relationships, guiding hierarchical learning across different samples at a global scale and integrating biological insights into single-modal representations. Extensive experiments on ST benchmarks annotated by pathologists demonstrate the effectiveness of our framework, achieving improved predictive performance compared to existing methods. Our code and models are available at: https://github.com/XulinChen/DELST.
• Abstract（参考訳）: 空間転写学 (Spatial transcriptomics, ST) は、各部位の組織内の遺伝子発現をマッピングし、マルチモーダル表現学習に有用な資源である。 加えて、ST は本質的にモダリティの範囲内および内部の両方に豊富な階層情報を含む。 例えば、異なるスポットは、異なるレベルの細胞活動と意味的階層に対応する、異なる数の非ゼロ遺伝子の発現を示す。 しかし、既存の手法は画像生成対のコントラストアライメントに依存しており、STデータの複雑な階層関係を正確に捉えることができない。 本稿では,画像生成前訓練のための階層構造をモデル化しながら,最初に双曲表現を組み込むフレームワークであるDELSTを提案する。(1) 画像表現の一般化を促進するために,遺伝子と画像の秩序関係を確立するクロスモーダルエンターテイメント学習,(2) 遺伝子表現パターンを階層的関係としてエンコードするモーダル内エンターテイメント学習,(2) グローバルスケールでの異なるサンプル間の階層的学習の指導,および単一モーダル表現への生物学的洞察の統合である。 病理学者によるSTベンチマークの大規模な実験により,本フレームワークの有効性が実証され,既存の手法と比較して予測性能が向上した。 私たちのコードとモデルは、https://github.com/XulinChen/DELST.comで利用可能です。

関連論文リスト

• ST-Align: A Multimodal Foundation Model for Image-Gene Alignment in Spatial Transcriptomics [6.680197957317297]
  空間転写学 (Spatial transcriptomics, ST) は, 高解像度の病理像と全スライディングスケールの個々の部位における全スライディング表現プロファイルを提供する。 ST-Alignは、空間コンテキストを組み込んだ画像生成ペアを深く整合させる、ST用に設計された最初の基礎モデルである。 ST-AlignはSTコンテキストに合わせた特殊なエンコーダを採用しており、さらにマルチモーダル核融合のためのアテンションベース核融合ネットワーク(ABFN)を採用している。
  論文  参考訳（メタデータ） (2024-11-25T09:15:07Z)
• RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency [11.813883157319381]
  ランク付けに基づくアライメント損失を用いて、遺伝子と画像の特徴を整列する新しいフレームワークを提案する。 そこで我々は,教師と学生のネットワークアーキテクチャを用いた自己指導型知識蒸留を用いて,アライメントの安定性をさらに向上させる。
  論文  参考訳（メタデータ） (2024-11-22T17:08:28Z)
• M2ORT: Many-To-One Regression Transformer for Spatial Transcriptomics Prediction from Histopathology Images [17.158450092707042]
  M2ORTは病理像の階層構造に対応する多対一回帰変換器である。 我々は3つのパブリックSTデータセット上でM2ORTを試験し、実験結果から、M2ORTが最先端の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-01-19T10:37:27Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
  本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。 TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
  論文  参考訳（メタデータ） (2023-09-06T04:30:15Z)
• The Whole Pathological Slide Classification via Weakly Supervised Learning [7.313528558452559]
  細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。 本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。 次に,隣接行列を用いてタイル間の空間的関係を記述する。 これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
  論文  参考訳（メタデータ） (2023-07-12T16:14:23Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
  本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。 具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
  論文  参考訳（メタデータ） (2020-07-19T07:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。