論文の概要: Focus on Focus: Focus-oriented Representation Learning and Multi-view Cross-modal Alignment for Glioma Grading
- arxiv url: http://arxiv.org/abs/2408.08527v1
- Date: Fri, 16 Aug 2024 04:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:39:36.916508
- Title: Focus on Focus: Focus-oriented Representation Learning and Multi-view Cross-modal Alignment for Glioma Grading
- Title(参考訳): Focus on Focus: Focus-oriented Representation Learning と Multi-view Cross-Modal Alignment for Glioma Grading
- Authors: Li Pan, Yupei Zhang, Qiushi Yang, Tan Li, Xiaohan Xing, Maximus C. F. Yeung, Zhen Chen,
- Abstract要約: マルチモーダル・ディープ・ラーニングは グリオーマの成績で 有望な成果を上げました
本稿では,FoF(FoF)フレームワークについて紹介する。FoF(FoF)フレームワークは,FoF(FoF)フレームワークとFoF(FoF)フレームワークを併用し,FoF(FoF)フレームワークとFoF(FoF)フレームワークを併用する。
TCGA GBM-LGGデータセットの実験により、我々のFoFフレームワークはグリオーマのグレーディングを大幅に改善することが示された。
- 参考スコア(独自算出の注目度): 15.492493684721175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, multimodal deep learning, which integrates histopathology slides and molecular biomarkers, has achieved a promising performance in glioma grading. Despite great progress, due to the intra-modality complexity and inter-modality heterogeneity, existing studies suffer from inadequate histopathology representation learning and inefficient molecular-pathology knowledge alignment. These two issues hinder existing methods to precisely interpret diagnostic molecular-pathology features, thereby limiting their grading performance. Moreover, the real-world applicability of existing multimodal approaches is significantly restricted as molecular biomarkers are not always available during clinical deployment. To address these problems, we introduce a novel Focus on Focus (FoF) framework with paired pathology-genomic training and applicable pathology-only inference, enhancing molecular-pathology representation effectively. Specifically, we propose a Focus-oriented Representation Learning (FRL) module to encourage the model to identify regions positively or negatively related to glioma grading and guide it to focus on the diagnostic areas with a consistency constraint. To effectively link the molecular biomarkers to morphological features, we propose a Multi-view Cross-modal Alignment (MCA) module that projects histopathology representations into molecular subspaces, aligning morphological features with corresponding molecular biomarker status by supervised contrastive learning. Experiments on the TCGA GBM-LGG dataset demonstrate that our FoF framework significantly improves the glioma grading. Remarkably, our FoF achieves superior performance using only histopathology slides compared to existing multimodal methods. The source code is available at https://github.com/peterlipan/FoF.
- Abstract(参考訳): 近年,病理組織学スライドと分子バイオマーカーを統合したマルチモーダルディープラーニングが,グリオーマのグレーディングにおいて有望な成果を上げている。
モダリティ内複雑性とモダリティ間不均一性により、大きな進歩があったが、既存の研究は、不適切な病理組織学表現学習と非効率的な分子-病理知識アライメントに悩まされている。
これらの2つの問題は、診断の分子病理的特徴を正確に解釈する既存の手法を妨げ、その結果、その評価性能が制限される。
さらに、既存のマルチモーダルアプローチの現実的な適用性は、臨床展開中に分子バイオマーカーが常に利用できるとは限らないため、著しく制限されている。
これらの問題に対処するため,我々は,FoF(FoF)フレームワークを導入した。FoF(FoF)フレームワークは,ペアの病理-ゲノム訓練と適用可能な病理-のみの推論により,分子-病理表現を効果的に向上する。
具体的には、グリオーマグレーディングに関連する領域を正あるいは負に識別し、一貫性の制約のある診断領域にフォーカスするようモデルに促す、焦点指向表現学習(FRL)モジュールを提案する。
分子バイオマーカーと形態学的特徴を効果的に結びつけるために, 組織学的表現を分子サブ空間に投影する多視点クロスモーダルアライメント (MCA) モジュールを提案する。
TCGA GBM-LGGデータセットの実験により、我々のFoFフレームワークはグリオーマのグレーディングを大幅に改善することが示された。
このFoFは,既存のマルチモーダル法と比較して,病理組織学的スライドのみを用いて優れた性能を発揮する。
ソースコードはhttps://github.com/peterlipan/FoF.comで入手できる。
関連論文リスト
- Knowledge-aware contrastive heterogeneous molecular graph learning [77.94721384862699]
分子グラフを不均一な分子グラフ学習(KCHML)に符号化するパラダイムシフトを提案する。
KCHMLは、不均一な分子グラフと二重メッセージパッシング機構によって強化された3つの異なるグラフビュー-分子、元素、薬理学-を通して分子を概念化する。
この設計は、プロパティ予測やドラッグ・ドラッグ・インタラクション(DDI)予測などの下流タスクに対する包括的な表現を提供する。
論文 参考訳(メタデータ) (2025-02-17T11:53:58Z) - Diffusion Models for Molecules: A Survey of Methods and Tasks [56.44565051667812]
分子に関する生成タスクは、薬物の発見と材料設計に不可欠である。
拡散モデルは、深い生成モデルの印象的なクラスとして現れている。
本稿では拡散モデルに基づく分子生成法について包括的に調査する。
論文 参考訳(メタデータ) (2025-02-13T17:22:50Z) - Joint Modelling Histology and Molecular Markers for Cancer Classification [4.267476747447838]
分子マーカーと組織学的特徴を共同で予測するための新しいデジタル病理手法を提案する。
本手法は、グリオーマ、組織学的特徴および分子マーカーの分類において、他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2025-02-11T21:52:32Z) - Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics [10.962389869127875]
我々はUMPIRE(Unified Molecule-enhanced Pathology Image Representationn Learning framework)を紹介する。
UMPIREは、遺伝子発現プロファイルからの相補的な情報を活用して、マルチモーダル事前学習をガイドすることを目的としている。
この分子的視点は、病理画像の埋め込みを学習するための、堅牢でタスクに依存しない訓練信号を提供する。
論文 参考訳(メタデータ) (2024-12-01T03:09:52Z) - FARM: Functional Group-Aware Representations for Small Molecules [55.281754551202326]
小型分子のための機能的グループ認識表現(FARM)について紹介する。
FARMはSMILES、自然言語、分子グラフのギャップを埋めるために設計された基礎モデルである。
MoleculeNetデータセット上でFARMを厳格に評価し、12タスク中10タスクで最先端のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2024-10-02T23:04:58Z) - GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ
我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文 参考訳(メタデータ) (2024-07-08T01:06:13Z) - MolFM: A Multimodal Molecular Foundation Model [9.934141536012596]
MolFMは分子構造、バイオメディカルテキスト、知識グラフからの共同表現学習を容易にするために設計された多モード分子基盤モデルである。
我々は,同分子の異なるモジュラリティ間の特徴空間における距離を最小化することにより,我々のクロスモーダル事前学習が局所的および大域的分子知識を捕捉する理論解析を行う。
クロスモーダル検索では、MolFMは既存のモデルよりも12.13%、絶対利得は5.04%、ゼロショットと微調整がそれぞれ優れている。
論文 参考訳(メタデータ) (2023-06-06T12:45:15Z) - Democratizing Pathological Image Segmentation with Lay Annotators via
Molecular-empowered Learning [20.11220024755348]
レイアノテータの部分ラベルを用いた多クラス細胞セグメンテーションのための分子動力学学習手法を提案する。
分子インフォームドアノテーションを用いてF1=0.8496を達成した。
本手法は,病的セグメンテーションの深部モデルの開発をライアノテータレベルまで民主化する。
論文 参考訳(メタデータ) (2023-05-31T16:54:47Z) - Multi-task Learning of Histology and Molecular Markers for Classifying
Diffuse Glioma [9.082753496844731]
組織学と分子マーカーを共同で予測する階層型マルチタスクマルチインスタンス学習フレームワークを提案する。
また,分子マーカーの共起をモデル化するために,共起確率に基づくラベル補正グラフネットワークを提案する。
以上の結果から,本手法はびまん性グリオーマの分類において,他の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-03-26T23:00:00Z) - Artificial-intelligence-based molecular classification of diffuse
gliomas using rapid, label-free optical imaging [59.79875531898648]
DeepGliomaは人工知能に基づく診断スクリーニングシステムである。
ディープグリオーマは、世界保健機関が成人型びまん性グリオーマ分類を定義するために使用する分子変化を予測することができる。
論文 参考訳(メタデータ) (2023-03-23T18:50:18Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳(メタデータ) (2022-09-12T00:56:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。