論文の概要: MM-GTUNets: Unified Multi-Modal Graph Deep Learning for Brain Disorders Prediction

• arxiv url: http://arxiv.org/abs/2406.14455v2
• Date: Mon, 20 Jan 2025 07:28:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:16:43.193188
• Title: MM-GTUNets: Unified Multi-Modal Graph Deep Learning for Brain Disorders Prediction
• Title（参考訳）: MM-GTUNets:脳障害予測のための統合多モードグラフ深層学習
• Authors: Luhui Cai, Weiming Zeng, Hongyu Chen, Hua Zhang, Yueyang Li, Yu Feng, Hongjie Yan, Lingbin Bian, Wai Ting Siok, Nizhuan Wang,
• Abstract要約: 脳障害予測のためのマルチモーダルグラフ深層学習フレームワークMM-GTUNetsを提案する。 本稿では,報酬システムを用いて集団グラフを適応的に構築するMRRL(Modality Reward Representation Learning)を提案する。 また,ACMGL(Adaptive Cross-Modal Graph Learning)を提案する。
• 参考スコア（独自算出の注目度）: 9.75237128240713
• License:
• Abstract: Graph deep learning (GDL) has demonstrated impressive performance in predicting population-based brain disorders (BDs) through the integration of both imaging and non-imaging data. However, the effectiveness of GDL based methods heavily depends on the quality of modeling the multi-modal population graphs and tends to degrade as the graph scale increases. Furthermore, these methods often constrain interactions between imaging and non-imaging data to node-edge interactions within the graph, overlooking complex inter-modal correlations, leading to suboptimal outcomes. To overcome these challenges, we propose MM-GTUNets, an end-to-end graph transformer based multi-modal graph deep learning (MMGDL) framework designed for brain disorders prediction at large scale. Specifically, to effectively leverage rich multi-modal information related to diseases, we introduce Modality Reward Representation Learning (MRRL) which adaptively constructs population graphs using a reward system. Additionally, we employ variational autoencoder to reconstruct latent representations of non-imaging features aligned with imaging features. Based on this, we propose Adaptive Cross-Modal Graph Learning (ACMGL), which captures critical modality-specific and modality-shared features through a unified GTUNet encoder taking advantages of Graph UNet and Graph Transformer, and feature fusion module. We validated our method on two public multi-modal datasets ABIDE and ADHD-200, demonstrating its superior performance in diagnosing BDs. Our code is available at https://github.com/NZWANG/MM-GTUNets.
• Abstract（参考訳）: グラフ深層学習(GDL)は、画像データと非画像データの統合により、人口ベースの脳障害(BD)を予測する際、顕著な性能を示した。 しかし、GDLに基づく手法の有効性は、マルチモーダル人口グラフのモデル化の品質に大きく依存しており、グラフのスケールが大きくなるにつれて劣化する傾向にある。 さらに、これらの手法はしばしば、画像と非画像データの相互作用をグラフ内のノード-エッジの相互作用に制限し、複雑なモーダル間の相関を見越して、最適以下の結果をもたらす。 これらの課題を克服するために,大規模脳障害予測のためのエンドツーエンドグラフトランスフォーマーに基づくマルチモーダルグラフ深層学習(MMGDL)フレームワークMM-GTUNetsを提案する。 具体的には、病気に関連する豊富なマルチモーダル情報を効果的に活用するために、報酬システムを用いて集団グラフを適応的に構築するModality Reward Representation Learning (MRRL)を導入する。 さらに,画像特徴に整合した非画像特徴の潜在表現を再構成するために,変分オートエンコーダを用いる。 そこで我々は,グラフUNetとグラフトランスフォーマーの利点を生かしたGTUNetエンコーダと機能融合モジュールを用いて,重要なモダリティ特化およびモダリティ共有特徴を抽出する適応型クロスモーダルグラフ学習(ACMGL)を提案する。 ABIDEとADHD-200の2つの公開マルチモーダルデータセットに対して本手法の有効性を検証し,BDの診断における優れた性能を示した。 私たちのコードはhttps://github.com/NZWANG/MM-GTUNets.comで利用可能です。

関連論文リスト

• InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
  InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。 InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。 Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
  論文  参考訳（メタデータ） (2024-10-09T17:56:15Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Multi-modal Multi-kernel Graph Learning for Autism Prediction and Biomarker Discovery [29.790200009136825]
  本稿では,マルチモーダル統合の過程におけるモダリティ間の負の影響を相殺し,グラフから異種情報を抽出する手法を提案する。 本手法は,Autism Brain Imaging Data Exchange (ABIDE) データセットを用いて評価し,最先端の手法よりも優れている。 また,自閉症に関連する差別的脳領域を本モデルにより同定し,自閉症の病態研究の指針を提供する。
  論文  参考訳（メタデータ） (2023-03-03T07:09:17Z)
• MMGA: Multimodal Learning with Graph Alignment [8.349066399479938]
  本稿では,グラフ(ソーシャルネットワーク)や画像,テキストなどの情報をソーシャルメディアに組み込むための,新しいマルチモーダル事前学習フレームワークMMGAを提案する。 MMGAでは,画像とテキストエンコーダを最適化するために,多段階のグラフアライメント機構が提案されている。 われわれのデータセットは、グラフ付き初のソーシャルメディアマルチモーダルデータセットであり、将来の研究を促進するために200万の投稿に基づいて特定のトピックをラベル付けした6万人のユーザーからなる。
  論文  参考訳（メタデータ） (2022-10-18T15:50:31Z)
• Multi-modal Graph Learning for Disease Prediction [35.156975779372836]
  マルチモーダルな疾患予測のためのエンドツーエンドマルチモーダルグラフ学習フレームワーク(MMGL)を提案する。 手動でグラフを定義する代わりに、潜在グラフ構造は適応グラフ学習の効果的な方法によって取得される。 2つの疾患予測タスクに関する広範な実験群は、提案したMMGLがより良好な性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-03-11T12:33:20Z)
• Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming [48.99614465020678]
  本稿では,グラフコントラスト適応ズームによる自己教師付きグラフ表現学習アルゴリズムを提案する。 このメカニズムにより、G-Zoomはグラフから複数のスケールから自己超越信号を探索して抽出することができる。 我々は,実世界のデータセットに関する広範な実験を行い,提案したモデルが常に最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-20T22:45:53Z)
• Multi-modal Graph Learning for Disease Prediction [35.4310911850558]
  病気予測のためのエンドツーエンドのマルチモーダルグラフ学習フレームワーク(MMGL)を提案する。 隣接行列を既存の手法として手動で定義する代わりに、潜在グラフ構造を適応グラフ学習の新しい方法によって捉えることができる。
  論文  参考訳（メタデータ） (2021-07-01T03:59:22Z)
• Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
  2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。 情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。 一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
  論文  参考訳（メタデータ） (2021-03-17T16:22:24Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。