Fugu-MT 論文翻訳(概要): Knowledge-driven Subspace Fusion and Gradient Coordination for Multi-modal Learning

論文の概要: Knowledge-driven Subspace Fusion and Gradient Coordination for Multi-modal Learning

arxiv url: http://arxiv.org/abs/2406.13979v1
Date: Thu, 20 Jun 2024 04:01:35 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 17:27:03.294526
Title: Knowledge-driven Subspace Fusion and Gradient Coordination for Multi-modal Learning
Title（参考訳）: 多モード学習のための知識駆動サブスペース融合と勾配座標
Authors: Yupei Zhang, Xiaofei Wang, Fangliangzi Meng, Jin Tang, Chao Li,
Abstract要約: マルチモーダル学習は癌診断と予後において重要な役割を担っている。現在のディープラーニングに基づくマルチモーダルアプローチは、ゲノム学と組織学のデータの間の複雑な相関をモデル化する能力によって制限されることが多い。本稿では, 生物学的に解釈し, 堅牢なマルチモーダル学習フレームワークを提案し, ヒストロジー画像とゲノム学を効率的に統合する。
参考スコア（独自算出の注目度）: 14.1062929554591
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-modal learning plays a crucial role in cancer diagnosis and prognosis. Current deep learning based multi-modal approaches are often limited by their abilities to model the complex correlations between genomics and histology data, addressing the intrinsic complexity of tumour ecosystem where both tumour and microenvironment contribute to malignancy. We propose a biologically interpretative and robust multi-modal learning framework to efficiently integrate histology images and genomics by decomposing the feature subspace of histology images and genomics, reflecting distinct tumour and microenvironment features. To enhance cross-modal interactions, we design a knowledge-driven subspace fusion scheme, consisting of a cross-modal deformable attention module and a gene-guided consistency strategy. Additionally, in pursuit of dynamically optimizing the subspace knowledge, we further propose a novel gradient coordination learning strategy. Extensive experiments demonstrate the effectiveness of the proposed method, outperforming state-of-the-art techniques in three downstream tasks of glioma diagnosis, tumour grading, and survival analysis. Our code is available at https://github.com/helenypzhang/Subspace-Multimodal-Learning.
Abstract（参考訳）: マルチモーダル学習は癌診断と予後において重要な役割を担っている。現在の深層学習に基づくマルチモーダルアプローチは、しばしば、ゲノム学と組織学データの複雑な相関をモデル化する能力によって制限され、腫瘍と微小環境の両方が悪性に寄与する腫瘍生態系の固有の複雑さに対処する。本研究では, 組織像とゲノムの特徴部分空間を分解し, 異なる腫瘍や微小環境の特徴を反映して, 組織像とゲノムを効率的に統合する, 生物学的解釈的かつ堅牢なマルチモーダル学習フレームワークを提案する。クロスモーダルな相互作用を強化するため、クロスモーダルな変形型アテンションモジュールと遺伝子誘導型一貫性戦略からなる知識駆動型サブスペース融合スキームを設計する。さらに,サブスペース知識を動的に最適化するために,新たな勾配調整学習戦略を提案する。グリオーマ診断,腫瘍グレーディング,生存解析の3つの下流課題において,提案手法の有効性を実証した。私たちのコードはhttps://github.com/helenypzhang/Subspace-Multimodal-Learning.comで公開されています。

関連論文リスト

Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文参考訳（メタデータ） (2024-07-25T17:46:38Z)
GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文参考訳（メタデータ） (2024-07-08T01:06:13Z)
Unified Modeling Enhanced Multimodal Learning for Precision Neuro-Oncology [8.802214988309684]
ヒストロジーとゲノム学の両モードの共通性と相補的な特徴を利用する階層的アテンション構造を導入する。本手法は,グリオーマ診断および予後タスクにおける従来の最先端手法を超越した手法である。
論文参考訳（メタデータ） (2024-06-11T09:06:41Z)
Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文参考訳（メタデータ） (2024-05-21T20:37:07Z)
Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文参考訳（メタデータ） (2024-03-04T14:21:51Z)
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment [5.771221868064265]
マルチモーダルMRIデータから頑健な潜在特徴表現を学習するための,新しい自己教師付きコントラスト学習法を提案する。本手法は,マルチモーダルデータの活用により,臨床実習におけるコンピュータ支援診断を容易にする能力を有する。
論文参考訳（メタデータ） (2023-12-22T21:05:51Z)
HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。 HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文参考訳（メタデータ） (2023-11-15T17:06:26Z)
Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review [0.0]
多様なデータ型を統合することで、がんの診断と治療の精度と信頼性が向上する。ディープニューラルネットワークは、洗練されたマルチモーダルデータ融合アプローチの開発を促進する。グラフニューラルネットワーク(GNN)やトランスフォーマーといった最近のディープラーニングフレームワークは、マルチモーダル学習において顕著な成功を収めている。
論文参考訳（メタデータ） (2023-03-11T17:52:03Z)
Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文参考訳（メタデータ） (2022-08-17T12:36:26Z)
Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文参考訳（メタデータ） (2022-01-07T07:46:01Z)
Learning Binary Semantic Embedding for Histology Image Classification and Retrieval [56.34863511025423]
バイナリ・セマンティック・エンベディング(LBSE)の学習方法を提案する。効率的な埋め込み、分類、検索を行い、組織像の解釈可能なコンピュータ支援診断を提供する。 3つのベンチマークデータセットで実施された実験は、様々なシナリオにおいてLBSEの優位性を検証する。
論文参考訳（メタデータ） (2020-10-07T08:36:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。