論文の概要: Focus on Focus: Focus-oriented Representation Learning and Multi-view Cross-modal Alignment for Glioma Grading
- arxiv url: http://arxiv.org/abs/2408.08527v1
- Date: Fri, 16 Aug 2024 04:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:39:36.916508
- Title: Focus on Focus: Focus-oriented Representation Learning and Multi-view Cross-modal Alignment for Glioma Grading
- Title(参考訳): Focus on Focus: Focus-oriented Representation Learning と Multi-view Cross-Modal Alignment for Glioma Grading
- Authors: Li Pan, Yupei Zhang, Qiushi Yang, Tan Li, Xiaohan Xing, Maximus C. F. Yeung, Zhen Chen,
- Abstract要約: マルチモーダル・ディープ・ラーニングは グリオーマの成績で 有望な成果を上げました
本稿では,FoF(FoF)フレームワークについて紹介する。FoF(FoF)フレームワークは,FoF(FoF)フレームワークとFoF(FoF)フレームワークを併用し,FoF(FoF)フレームワークとFoF(FoF)フレームワークを併用する。
TCGA GBM-LGGデータセットの実験により、我々のFoFフレームワークはグリオーマのグレーディングを大幅に改善することが示された。
- 参考スコア(独自算出の注目度): 15.492493684721175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, multimodal deep learning, which integrates histopathology slides and molecular biomarkers, has achieved a promising performance in glioma grading. Despite great progress, due to the intra-modality complexity and inter-modality heterogeneity, existing studies suffer from inadequate histopathology representation learning and inefficient molecular-pathology knowledge alignment. These two issues hinder existing methods to precisely interpret diagnostic molecular-pathology features, thereby limiting their grading performance. Moreover, the real-world applicability of existing multimodal approaches is significantly restricted as molecular biomarkers are not always available during clinical deployment. To address these problems, we introduce a novel Focus on Focus (FoF) framework with paired pathology-genomic training and applicable pathology-only inference, enhancing molecular-pathology representation effectively. Specifically, we propose a Focus-oriented Representation Learning (FRL) module to encourage the model to identify regions positively or negatively related to glioma grading and guide it to focus on the diagnostic areas with a consistency constraint. To effectively link the molecular biomarkers to morphological features, we propose a Multi-view Cross-modal Alignment (MCA) module that projects histopathology representations into molecular subspaces, aligning morphological features with corresponding molecular biomarker status by supervised contrastive learning. Experiments on the TCGA GBM-LGG dataset demonstrate that our FoF framework significantly improves the glioma grading. Remarkably, our FoF achieves superior performance using only histopathology slides compared to existing multimodal methods. The source code is available at https://github.com/peterlipan/FoF.
- Abstract(参考訳): 近年,病理組織学スライドと分子バイオマーカーを統合したマルチモーダルディープラーニングが,グリオーマのグレーディングにおいて有望な成果を上げている。
モダリティ内複雑性とモダリティ間不均一性により、大きな進歩があったが、既存の研究は、不適切な病理組織学表現学習と非効率的な分子-病理知識アライメントに悩まされている。
これらの2つの問題は、診断の分子病理的特徴を正確に解釈する既存の手法を妨げ、その結果、その評価性能が制限される。
さらに、既存のマルチモーダルアプローチの現実的な適用性は、臨床展開中に分子バイオマーカーが常に利用できるとは限らないため、著しく制限されている。
これらの問題に対処するため,我々は,FoF(FoF)フレームワークを導入した。FoF(FoF)フレームワークは,ペアの病理-ゲノム訓練と適用可能な病理-のみの推論により,分子-病理表現を効果的に向上する。
具体的には、グリオーマグレーディングに関連する領域を正あるいは負に識別し、一貫性の制約のある診断領域にフォーカスするようモデルに促す、焦点指向表現学習(FRL)モジュールを提案する。
分子バイオマーカーと形態学的特徴を効果的に結びつけるために, 組織学的表現を分子サブ空間に投影する多視点クロスモーダルアライメント (MCA) モジュールを提案する。
TCGA GBM-LGGデータセットの実験により、我々のFoFフレームワークはグリオーマのグレーディングを大幅に改善することが示された。
このFoFは,既存のマルチモーダル法と比較して,病理組織学的スライドのみを用いて優れた性能を発揮する。
ソースコードはhttps://github.com/peterlipan/FoF.comで入手できる。
関連論文リスト
- FARM: Functional Group-Aware Representations for Small Molecules [55.281754551202326]
小型分子のための機能的グループ認識表現(FARM)について紹介する。
FARMはSMILES、自然言語、分子グラフのギャップを埋めるために設計された基礎モデルである。
MoleculeNetデータセット上でFARMを厳格に評価し、12タスク中10タスクで最先端のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2024-10-02T23:04:58Z) - GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ
我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文 参考訳(メタデータ) (2024-07-08T01:06:13Z) - ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。
まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。
次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
論文 参考訳(メタデータ) (2023-11-01T14:44:01Z) - Deep Learning Predicts Biomarker Status and Discovers Related
Histomorphology Characteristics for Low-Grade Glioma [21.281553456323998]
低次グリオーマ(LGG)の診断と治療にはバイオマーカー検出が不可欠である
ヘマトキシリンとエオシンを含む全スライド画像とスライドレベルのバイオマーカーステータスラベルを用いて,LGGの5つのバイオマーカーの状態を予測するための解釈可能なディープラーニングパイプラインを提案する。
我々のパイプラインはバイオマーカー予測の新しいアプローチを提供するだけでなく、LGG患者に対する分子治療の適用性を高めるだけでなく、分子機能とLGGの進行の新たなメカニズムの発見を促進する。
論文 参考訳(メタデータ) (2023-10-11T13:05:33Z) - MolFM: A Multimodal Molecular Foundation Model [9.934141536012596]
MolFMは分子構造、バイオメディカルテキスト、知識グラフからの共同表現学習を容易にするために設計された多モード分子基盤モデルである。
我々は,同分子の異なるモジュラリティ間の特徴空間における距離を最小化することにより,我々のクロスモーダル事前学習が局所的および大域的分子知識を捕捉する理論解析を行う。
クロスモーダル検索では、MolFMは既存のモデルよりも12.13%、絶対利得は5.04%、ゼロショットと微調整がそれぞれ優れている。
論文 参考訳(メタデータ) (2023-06-06T12:45:15Z) - Democratizing Pathological Image Segmentation with Lay Annotators via
Molecular-empowered Learning [20.11220024755348]
レイアノテータの部分ラベルを用いた多クラス細胞セグメンテーションのための分子動力学学習手法を提案する。
分子インフォームドアノテーションを用いてF1=0.8496を達成した。
本手法は,病的セグメンテーションの深部モデルの開発をライアノテータレベルまで民主化する。
論文 参考訳(メタデータ) (2023-05-31T16:54:47Z) - Multi-task Learning of Histology and Molecular Markers for Classifying
Diffuse Glioma [9.082753496844731]
組織学と分子マーカーを共同で予測する階層型マルチタスクマルチインスタンス学習フレームワークを提案する。
また,分子マーカーの共起をモデル化するために,共起確率に基づくラベル補正グラフネットワークを提案する。
以上の結果から,本手法はびまん性グリオーマの分類において,他の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-03-26T23:00:00Z) - Artificial-intelligence-based molecular classification of diffuse
gliomas using rapid, label-free optical imaging [59.79875531898648]
DeepGliomaは人工知能に基づく診断スクリーニングシステムである。
ディープグリオーマは、世界保健機関が成人型びまん性グリオーマ分類を定義するために使用する分子変化を予測することができる。
論文 参考訳(メタデータ) (2023-03-23T18:50:18Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳(メタデータ) (2022-09-12T00:56:57Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Interpretable multimodal fusion networks reveal mechanisms of brain
cognition [26.954460880062506]
我々は,自動診断と結果解釈を同時に行うことができる,解釈可能なマルチモーダル融合モデルgCAM-CCLを開発した。
脳画像遺伝学的研究におけるgCAM-CCLモデルの有効性を検証し,gCAM-CCLの分類と機構解析の両面において良好な性能を示した。
論文 参考訳(メタデータ) (2020-06-16T18:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。