論文の概要: MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention

• arxiv url: http://arxiv.org/abs/2503.00374v2
• Date: Wed, 19 Mar 2025 02:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:20:44.532789
• Title: MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention
• Title（参考訳）: MIRROR: モダリティアライメントとリテンションによるマルチモーダル・パノロジカル自己監督型表現学習
• Authors: Tianyi Wang, Jianan Fan, Dingxin Zhang, Dongnan Liu, Yong Xia, Heng Huang, Weidong Cai,
• Abstract要約: 病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 52.106879463828044
• License:
• Abstract: Histopathology and transcriptomics are fundamental modalities in oncology, encapsulating the morphological and molecular aspects of the disease. Multi-modal self-supervised learning has demonstrated remarkable potential in learning pathological representations by integrating diverse data sources. Conventional multi-modal integration methods primarily emphasize modality alignment, while paying insufficient attention to retaining the modality-specific structures. However, unlike conventional scenarios where multi-modal inputs share highly overlapping features, histopathology and transcriptomics exhibit pronounced heterogeneity, offering orthogonal yet complementary insights. Histopathology provides morphological and spatial context, elucidating tissue architecture and cellular topology, whereas transcriptomics delineates molecular signatures through gene expression patterns. This inherent disparity introduces a major challenge in aligning them while maintaining modality-specific fidelity. To address these challenges, we present MIRROR, a novel multi-modal representation learning method designed to foster both modality alignment and retention. MIRROR employs dedicated encoders to extract comprehensive features for each modality, which is further complemented by a modality alignment module to achieve seamless integration between phenotype patterns and molecular profiles. Furthermore, a modality retention module safeguards unique attributes from each modality, while a style clustering module mitigates redundancy and enhances disease-relevant information by modeling and aligning consistent pathological signatures within a clustering space. Extensive evaluations on TCGA cohorts for cancer subtyping and survival analysis highlight MIRROR's superior performance, demonstrating its effectiveness in constructing comprehensive oncological feature representations and benefiting the cancer diagnosis.
• Abstract（参考訳）: 病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 マルチモーダルな自己教師型学習は、多様なデータソースを統合することで、病理表現の学習において顕著な可能性を示している。 従来のマルチモーダル積分法は主にモダリティのアライメントを強調し、モダリティ固有の構造を維持するのに十分な注意を払っている。 しかし、マルチモーダル入力が重なり合う従来のシナリオとは異なり、病理学と転写学は明らかに異質性を示し、直交するが相補的な洞察を与える。 病理組織学は形態学的および空間的文脈を提供し、組織構造と細胞トポロジーを解明する一方、転写学は遺伝子発現パターンを通じて分子のシグネチャを規定する。 この固有の格差は、モダリティ固有の忠実さを維持しながらそれらを整列させることに大きな課題をもたらす。 これらの課題に対処するために,モダリティアライメントと保持を両立させる新しいマルチモーダル表現学習手法であるMIRRORを提案する。 MIRRORは、各モダリティの包括的特徴を抽出するために専用エンコーダを使用し、さらにモダリティアライメントモジュールによって補完され、表現型パターンと分子プロファイルのシームレスな統合を実現する。 さらに、モダリティ保持モジュールは、各モダリティから固有の属性を保護し、スタイルクラスタリングモジュールは、冗長性を緩和し、クラスタリング空間内の一貫した病理学的シグネチャをモデル化および整合させることにより、疾患関連情報を強化する。 がんサブタイプおよび生存分析のためのTCGAコホートに対する広範囲な評価は、MIRRORの優れた性能を強調し、包括的腫瘍学的特徴表現の構築とがん診断の利点を示す。

関連論文リスト

• Multi-modal Spatial Clustering for Spatial Transcriptomics Utilizing High-resolution Histology Images [1.3124513975412255]
  空間転写学(spatial transcriptomics, ST)は、空間的文脈を保ちながら、転写産物全体の遺伝子発現プロファイリングを可能にする。 現在の空間クラスタリング法では、高解像度の組織像と遺伝子発現データを完全に統合することができない。 本稿では、遺伝子発現データと組織像の特徴を融合した、新しいコントラスト学習に基づく深層学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T00:32:24Z)
• Multi-Cohort Framework with Cohort-Aware Attention and Adversarial Mutual-Information Minimization for Whole Slide Image Classification [3.1406146587437904]
  本稿では,腫瘍の多様性を生かしたマルチコホートWSI解析手法を提案する。 我々はCohort-Aware Attentionモジュールを導入し、共有および腫瘍特異的な病理パターンのキャプチャを可能にした。 また,コホート不均衡を緩和し,偏りのない学習を促進するために,階層的なサンプルバランス戦略を開発する。
  論文  参考訳（メタデータ） (2024-09-17T12:18:00Z)
• Focus on Focus: Focus-oriented Representation Learning and Multi-view Cross-modal Alignment for Glioma Grading [15.492493684721175]
  マルチモーダル・ディープ・ラーニングは グリオーマの成績で 有望な成果を上げました 本稿では,FoF(FoF)フレームワークについて紹介する。FoF(FoF)フレームワークは,FoF(FoF)フレームワークとFoF(FoF)フレームワークを併用し,FoF(FoF)フレームワークとFoF(FoF)フレームワークを併用する。 TCGA GBM-LGGデータセットの実験により、我々のFoFフレームワークはグリオーマのグレーディングを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-08-16T04:54:10Z)
• Revisiting Adaptive Cellular Recognition Under Domain Shifts: A Contextual Correspondence View [49.03501451546763]
  生物学的文脈における暗黙の対応の重要性を明らかにする。 モデル構成成分間のインスタンス認識トレードオフを確保するために, 自己適応型動的蒸留を提案する。
  論文  参考訳（メタデータ） (2024-07-14T04:41:16Z)
• GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
  Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ 我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
  論文  参考訳（メタデータ） (2024-07-08T01:06:13Z)
• Knowledge-driven Subspace Fusion and Gradient Coordination for Multi-modal Learning [14.1062929554591]
  マルチモーダル学習は癌診断と予後において重要な役割を担っている。 現在のディープラーニングに基づくマルチモーダルアプローチは、ゲノム学と組織学のデータの間の複雑な相関をモデル化する能力によって制限されることが多い。 本稿では, 生物学的に解釈し, 堅牢なマルチモーダル学習フレームワークを提案し, ヒストロジー画像とゲノム学を効率的に統合する。
  論文  参考訳（メタデータ） (2024-06-20T04:01:35Z)
• Unified Modeling Enhanced Multimodal Learning for Precision Neuro-Oncology [8.802214988309684]
  ヒストロジーとゲノム学の両モードの共通性と相補的な特徴を利用する階層的アテンション構造を導入する。 本手法は,グリオーマ診断および予後タスクにおける従来の最先端手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-06-11T09:06:41Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。