論文の概要: Disentangled Multi-modal Learning of Histology and Transcriptomics for Cancer Characterization

• arxiv url: http://arxiv.org/abs/2508.16479v1
• Date: Fri, 22 Aug 2025 15:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.436397
• Title: Disentangled Multi-modal Learning of Histology and Transcriptomics for Cancer Characterization
• Title（参考訳）: 癌診断のための組織学・転写学のマルチモーダルディスタングル学習
• Authors: Yupei Zhang, Xiaofei Wang, Anran Liu, Lequan Yu, Chao Li,
• Abstract要約: 病理組織学は、がんの診断と予後における金の標準である。 転写学と組織学を組み合わせたマルチモーダル学習は、より包括的な情報を提供する。 既存のマルチモーダルなアプローチは、本質的なマルチモーダルな不均一性、不十分なマルチスケールな統合、ペアデータへの依存によって挑戦される。
• 参考スコア（独自算出の注目度）: 30.456635152695483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Histopathology remains the gold standard for cancer diagnosis and prognosis. With the advent of transcriptome profiling, multi-modal learning combining transcriptomics with histology offers more comprehensive information. However, existing multi-modal approaches are challenged by intrinsic multi-modal heterogeneity, insufficient multi-scale integration, and reliance on paired data, restricting clinical applicability. To address these challenges, we propose a disentangled multi-modal framework with four contributions: 1) To mitigate multi-modal heterogeneity, we decompose WSIs and transcriptomes into tumor and microenvironment subspaces using a disentangled multi-modal fusion module, and introduce a confidence-guided gradient coordination strategy to balance subspace optimization. 2) To enhance multi-scale integration, we propose an inter-magnification gene-expression consistency strategy that aligns transcriptomic signals across WSI magnifications. 3) To reduce dependency on paired data, we propose a subspace knowledge distillation strategy enabling transcriptome-agnostic inference through a WSI-only student model. 4) To improve inference efficiency, we propose an informative token aggregation module that suppresses WSI redundancy while preserving subspace semantics. Extensive experiments on cancer diagnosis, prognosis, and survival prediction demonstrate our superiority over state-of-the-art methods across multiple settings. Code is available at https://github.com/helenypzhang/Disentangled-Multimodal-Learning.
• Abstract（参考訳）: 病理組織学は、がんの診断と予後における金の標準である。 トランスクリプトームプロファイリングの出現により、転写学と組織学を組み合わせたマルチモーダル学習がより包括的な情報を提供する。 しかし、既存のマルチモーダルアプローチは、本質的なマルチモーダル不均一性、不十分なマルチスケール統合、およびペアデータへの依存により、臨床応用性に制限される。 これらの課題に対処するため、我々は4つのコントリビューションを持つ非絡み合ったマルチモーダルフレームワークを提案する。 1) マルチモーダルな不均一性を緩和するため, マルチモーダル融合モジュールを用いてWSIとトランスクリプトームを腫瘍およびマイクロ環境サブ空間に分解し, サブスペース最適化のバランスをとるための信頼誘導勾配調整戦略を導入する。 2) マルチスケール統合を強化するため,WSI倍率間で転写信号の整合を図った画像間遺伝子発現整合性戦略を提案する。 3) ペアデータへの依存を減らすため,WSI のみの学生モデルを用いて,トランスクリプトームに依存しない推論を可能にするサブスペース知識蒸留戦略を提案する。 4) 推論効率を向上させるため,サブスペースのセマンティクスを保ちながらWSI冗長性を抑える情報トークン集約モジュールを提案する。 がん診断,予後予測,生存予測に関する広範囲な実験は,複数の領域にわたる最先端の手法よりも優れていることを示す。 コードはhttps://github.com/helenypzhang/Disentangled-Multimodal-Learning.comで公開されている。

関連論文リスト

• MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction [5.895727565919295]
  本稿では,MurreNet(マルチモーダル表現デカップリングネットワーク)を提案する。 MurreNetはペア化された入力データをモダリティ固有表現とモダリティ共有表現に分解し、モダリティ間の冗長性を減少させる。 6つのTCGA癌コホートで行った実験は、MurreNetが生存予測において最先端(SOTA)のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-07-07T11:26:29Z)
• Robust Multimodal Learning for Ophthalmic Disease Grading via Disentangled Representation [30.697291934309206]
  医療機器の欠如とデータのプライバシーに関する懸念により、マルチモーダルデータは現実世界のアプリケーションではまれである。 伝統的な深層学習法は一般に、潜在空間における表現の学習によってこれらの問題に対処する。 著者らはEssence-Point and Disentangle Representation Learning (EDRL)戦略を提案している。
  論文  参考訳（メタデータ） (2025-03-07T10:58:38Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [52.106879463828044]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
  我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。 我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。 我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
  論文  参考訳（メタデータ） (2024-10-21T17:42:41Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。