論文の概要: SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome

• arxiv url: http://arxiv.org/abs/2511.15464v1
• Date: Wed, 19 Nov 2025 14:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.84192
• Title: SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome
• Title（参考訳）: SIGMMA: 階層型グラフに基づくマルチスケールマルチモーダルコントラスト画像と空間的トランスクリプトームのアライメント
• Authors: Dabin Jeong, Amirhossein Vahidi, Ciro Ramírez-Suástegui, Marie Moullet, Kevin Ly, Mohammad Vali Sanian, Sebastian Birk, Yinshui Chang, Adam Boxall, Daniyal Jafree, Lloyd Steele, Vijaya Baskar MS, Muzlifah Haniffa, Mohammad Lotfollahi,
• Abstract要約: HE画像の階層的表現と空間トランスクリプトームプロファイルを学習するためのマルチモーダルコントラストアライメントフレームワークであるSigmmaを提案する。 細胞間相互作用をグラフとして表現することにより,組織内微小環境内での微細な細胞間相互作用を効果的に捉えることができる。 我々は、Sigmmが、クロスモーダル対応をよりよく捉えた表現を学習し、遺伝子発現予測タスクの9.78%、データセット間のクロスモーダル検索タスクの26.93%の改善をもたらすことを実証した。
• 参考スコア（独自算出の注目度）: 0.5748432401788427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in computational pathology have leveraged vision-language models to learn joint representations of Hematoxylin and Eosin (HE) images with spatial transcriptomic (ST) profiles. However, existing approaches typically align HE tiles with their corresponding ST profiles at a single scale, overlooking fine-grained cellular structures and their spatial organization. To address this, we propose Sigmma, a multi-modal contrastive alignment framework for learning hierarchical representations of HE images and spatial transcriptome profiles across multiple scales. Sigmma introduces multi-scale contrastive alignment, ensuring that representations learned at different scales remain coherent across modalities. Furthermore, by representing cell interactions as a graph and integrating inter- and intra-subgraph relationships, our approach effectively captures cell-cell interactions, ranging from fine to coarse, within the tissue microenvironment. We demonstrate that Sigmm learns representations that better capture cross-modal correspondences, leading to an improvement of avg. 9.78\% in the gene-expression prediction task and avg. 26.93\% in the cross-modal retrieval task across datasets. We further show that it learns meaningful multi-tissue organization in downstream analyses.
• Abstract（参考訳）: 近年の計算病理学の進歩は、視覚言語モデルを利用して、空間転写学(ST)プロファイルを持つヘマトキシリンとエオシン(HE)画像の合同表現を学習している。 しかし、既存のアプローチでは、HEタイルと対応するSTプロファイルを単一のスケールで整列し、微細な細胞構造とその空間構造を見渡すのが一般的である。 そこで我々は,複数スケールにわたるHE画像と空間トランスクリプトームプロファイルの階層的表現を学習するためのマルチモーダルコントラストアライメントフレームワークであるSigmmaを提案する。 Sigmmaはマルチスケールのコントラストアライメントを導入し、異なるスケールで学習した表現がモダリティを越えて一貫性を保つ。 さらに, 細胞間相互作用をグラフとして表現し, 細胞間および細胞間関係を統合することにより, 組織内微小環境内での微細な細胞間相互作用を効果的に捉えた。 我々は、Sigmmがモーダル間対応をよりよく捉えた表現を学習し、avgを改善することを実証した。 9.78\%であった。 データセット間のクロスモーダル検索タスクの26.93\%。 さらに、下流分析において有意義な多部組織を学習していることを示す。

関連論文リスト

• GROVER: Graph-guided Representation of Omics and Vision with Expert Regulation for Adaptive Spatial Multi-omics Fusion [8.680469644745463]
  本稿では,適応型空間マルチオミクス融合のエキスパートレギュレーションによるオミとビジョンのグラフ誘導表現を提案する。 GROVERは空間マルチオミクスデータの適応的統合のための新しいフレームワークである。 GROVERは最先端のベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-13T06:20:37Z)
• DELST: Dual Entailment Learning for Hyperbolic Image-Gene Pretraining in Spatial Transcriptomics [38.94542898899791]
  画像生成事前学習のための階層をモデル化しながら,双曲表現を組み込む最初のフレームワークであるDELSTを提案する。 本フレームワークは,既存手法と比較して予測性能の向上を実現している。
  論文  参考訳（メタデータ） (2025-03-02T09:00:09Z)
• Multi-modal Spatial Clustering for Spatial Transcriptomics Utilizing High-resolution Histology Images [1.3124513975412255]
  空間転写学(spatial transcriptomics, ST)は、空間的文脈を保ちながら、転写産物全体の遺伝子発現プロファイリングを可能にする。 現在の空間クラスタリング法では、高解像度の組織像と遺伝子発現データを完全に統合することができない。 本稿では、遺伝子発現データと組織像の特徴を融合した、新しいコントラスト学習に基づく深層学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T00:32:24Z)
• PRAGA: Prototype-aware Graph Adaptive Aggregation for Spatial Multi-modal Omics Analysis [1.1619559582563954]
  空間多モードオミクス解析(PRAGA)のためのPRototype-Aware Graph Adaptative Aggregationを提案する。 PRAGAは動的グラフを構築し、潜在意味関係を捉え、空間情報と特徴意味論を包括的に統合する。 学習可能なグラフ構造は、クロスモーダルな知識を学習することで摂動を損なうこともできる。
  論文  参考訳（メタデータ） (2024-09-19T12:53:29Z)
• The Whole Pathological Slide Classification via Weakly Supervised Learning [7.313528558452559]
  細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。 本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。 次に,隣接行列を用いてタイル間の空間的関係を記述する。 これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
  論文  参考訳（メタデータ） (2023-07-12T16:14:23Z)
• Histopathology Whole Slide Image Analysis with Heterogeneous Graph Representation Learning [78.49090351193269]
  本稿では,WSI分析のために,異なる種類の核間の相互関係を利用する新しいグラフベースのフレームワークを提案する。 具体的には、WSI を各ノードに "nucleus-type" 属性と各エッジに類似した意味属性を持つ異種グラフとして定式化する。 我々のフレームワークは、様々なタスクに対してかなりのマージンで最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-07-09T14:43:40Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Spatial-spectral Hyperspectral Image Classification via Multiple Random Anchor Graphs Ensemble Learning [88.60285937702304]
  本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。 まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。 次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
  論文  参考訳（メタデータ） (2021-03-25T09:31:41Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。