論文の概要: Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics

• arxiv url: http://arxiv.org/abs/2412.00651v1
• Date: Sun, 01 Dec 2024 03:09:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:47.390899
• Title: Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics
• Title（参考訳）: 統一分子強調画像表現学習に向けて : 空間転写学の統合
• Authors: Minghao Han, Dingkang Yang, Jiabei Cheng, Xukun Zhang, Linhao Qu, Zizhi Chen, Lihua Zhang,
• Abstract要約: 我々はUMPIRE(Unified Molecule-enhanced Pathology Image Representationn Learning framework)を紹介する。 UMPIREは、遺伝子発現プロファイルからの相補的な情報を活用して、マルチモーダル事前学習をガイドすることを目的としている。 この分子的視点は、病理画像の埋め込みを学習するための、堅牢でタスクに依存しない訓練信号を提供する。
• 参考スコア（独自算出の注目度）: 10.962389869127875
• License:
• Abstract: Recent advancements in multimodal pre-training models have significantly advanced computational pathology. However, current approaches predominantly rely on visual-language models, which may impose limitations from a molecular perspective and lead to performance bottlenecks. Here, we introduce a Unified Molecule-enhanced Pathology Image REpresentationn Learning framework (UMPIRE). UMPIRE aims to leverage complementary information from gene expression profiles to guide the multimodal pre-training, enhancing the molecular awareness of pathology image representation learning. We demonstrate that this molecular perspective provides a robust, task-agnostic training signal for learning pathology image embeddings. Due to the scarcity of paired data, approximately 4 million entries of spatial transcriptomics gene expression were collected to train the gene encoder. By leveraging powerful pre-trained encoders, UMPIRE aligns the encoders across over 697K pathology image-gene expression pairs. The performance of UMPIRE is demonstrated across various molecular-related downstream tasks, including gene expression prediction, spot classification, and mutation state prediction in whole slide images. Our findings highlight the effectiveness of multimodal data integration and open new avenues for exploring computational pathology enhanced by molecular perspectives. The code and pre-trained weights are available at https://github.com/Hanminghao/UMPIRE.
• Abstract（参考訳）: マルチモーダル事前学習モデルの最近の進歩は、計算病理学を著しく進歩させた。 しかし、現在のアプローチは主に視覚言語モデルに依存しており、分子の観点から制限を課し、パフォーマンスのボトルネックにつながる可能性がある。 本稿では,Unified Molecule-enhanced Pathology Image Representationn Learning framework (UMPIRE)を紹介する。 UMPIREは、遺伝子発現プロファイルからの相補的な情報を活用して、マルチモーダルな事前学習をガイドし、病理画像表現学習の分子認識を高めることを目的としている。 この分子的視点は、病理画像の埋め込みを学習するための、堅牢でタスクに依存しない訓練信号を提供する。 ペアデータの不足により、約400万件の空間転写学遺伝子発現が収集され、遺伝子エンコーダを訓練した。 UMPIREは、強力な事前訓練エンコーダを利用することで、697K以上の画像-遺伝子対にエンコーダを配置する。 UMPIREの性能は、遺伝子発現予測、スポット分類、全スライド画像における突然変異状態予測など、様々な分子関連下流タスクで実証される。 本研究は,マルチモーダルデータ統合の有効性と,分子的視点による計算病理の探索への新たな道を開くことの意義を明らかにするものである。 コードとトレーニング済みのウェイトはhttps://github.com/Hanminghao/UMPIREで公開されている。

関連論文リスト

• Knowledge-aware contrastive heterogeneous molecular graph learning [77.94721384862699]
  分子グラフを不均一な分子グラフ学習(KCHML)に符号化するパラダイムシフトを提案する。 KCHMLは、不均一な分子グラフと二重メッセージパッシング機構によって強化された3つの異なるグラフビュー-分子、元素、薬理学-を通して分子を概念化する。 この設計は、プロパティ予測やドラッグ・ドラッグ・インタラクション(DDI)予測などの下流タスクに対する包括的な表現を提供する。
  論文  参考訳（メタデータ） (2025-02-17T11:53:58Z)
• Dynamic Entity-Masked Graph Diffusion Model for histopathological image Representation Learning [25.197342542821843]
  動的Entity-Masked Graph Diffusion Modelによる自己管理型病理画像表現学習法であるH-MGDMを紹介する。 具体的には,予備訓練において,相補的な部分グラフを潜時拡散条件として,自己教師対象として用いることを提案する。
  論文  参考訳（メタデータ） (2024-12-13T10:18:36Z)
• HistoSPACE: Histology-Inspired Spatial Transcriptome Prediction And Characterization Engine [0.0]
  HistoSPACEモデルは、STデータで利用可能な組織像の多様性を調べ、組織像から分子的洞察を抽出する。 モデルは、現代のアルゴリズムと比較して大きな効率性を示し、残余のクロスバリデーションにおいて0.56の相関関係を示す。
  論文  参考訳（メタデータ） (2024-08-07T07:12:52Z)
• Data-Efficient Molecular Generation with Hierarchical Textual Inversion [48.816943690420224]
  分子生成のための階層型テキスト変換法 (HI-Mol) を提案する。 HI-Molは分子分布を理解する上での階層的情報、例えば粗い特徴ときめ細かい特徴の重要性にインスパイアされている。 単一レベルトークン埋め込みを用いた画像領域の従来のテキストインバージョン法と比較して, マルチレベルトークン埋め込みにより, 基礎となる低ショット分子分布を効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-05-05T08:35:23Z)
• Multi-Modal Representation Learning for Molecular Property Prediction: Sequence, Graph, Geometry [6.049566024728809]
  深層学習に基づく分子特性予測は、従来の手法の資源集約性に対する解決策として登場した。 本稿では,分子特性予測のための新しいマルチモーダル表現学習モデルSGGRLを提案する。 モダリティ間の整合性を確保するため、SGGRLは異なる分子の類似性を最小化しながら同じ分子の表現の類似性を最大化するように訓練される。
  論文  参考訳（メタデータ） (2024-01-07T02:18:00Z)
• Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations [68.32093648671496]
  分子に固有の二重レベル構造を考慮に入れたGODEを導入する。 分子は固有のグラフ構造を持ち、より広い分子知識グラフ内のノードとして機能する。 異なるグラフ構造上の2つのGNNを事前学習することにより、GODEは対応する知識グラフサブ構造と分子構造を効果的に融合させる。
  論文  参考訳（メタデータ） (2023-06-02T15:49:45Z)
• Multi-task Learning of Histology and Molecular Markers for Classifying Diffuse Glioma [9.082753496844731]
  組織学と分子マーカーを共同で予測する階層型マルチタスクマルチインスタンス学習フレームワークを提案する。 また,分子マーカーの共起をモデル化するために,共起確率に基づくラベル補正グラフネットワークを提案する。 以上の結果から,本手法はびまん性グリオーマの分類において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-26T23:00:00Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology [5.164102666113966]
  我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。 我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
  論文  参考訳（メタデータ） (2022-03-01T16:14:41Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。