論文の概要: Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's
Disease from sMRI and PET Scans
- arxiv url: http://arxiv.org/abs/2307.16366v1
- Date: Mon, 31 Jul 2023 02:04:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:10:41.052918
- Title: Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's
Disease from sMRI and PET Scans
- Title(参考訳): sMRIとPETスキャンによるアルツハイマー病早期診断のためのマルチモーダルグラフニューラルネットワーク
- Authors: Yanteng Zhanga, Xiaohai He, Yi Hao Chan, Qizhi Teng, Jagath C.
Rajapakse
- Abstract要約: 我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。
本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。
次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
- 参考スコア(独自算出の注目度): 11.420077093805382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, deep learning models have been applied to neuroimaging data
for early diagnosis of Alzheimer's disease (AD). Structural magnetic resonance
imaging (sMRI) and positron emission tomography (PET) images provide structural
and functional information about the brain, respectively. Combining these
features leads to improved performance than using a single modality alone in
building predictive models for AD diagnosis. However, current multi-modal
approaches in deep learning, based on sMRI and PET, are mostly limited to
convolutional neural networks, which do not facilitate integration of both
image and phenotypic information of subjects. We propose to use graph neural
networks (GNN) that are designed to deal with problems in non-Euclidean
domains. In this study, we demonstrate how brain networks can be created from
sMRI or PET images and be used in a population graph framework that can combine
phenotypic information with imaging features of these brain networks. Then, we
present a multi-modal GNN framework where each modality has its own branch of
GNN and a technique is proposed to combine the multi-modal data at both the
level of node vectors and adjacency matrices. Finally, we perform late fusion
to combine the preliminary decisions made in each branch and produce a final
prediction. As multi-modality data becomes available, multi-source and
multi-modal is the trend of AD diagnosis. We conducted explorative experiments
based on multi-modal imaging data combined with non-imaging phenotypic
information for AD diagnosis and analyzed the impact of phenotypic information
on diagnostic performance. Results from experiments demonstrated that our
proposed multi-modal approach improves performance for AD diagnosis, and this
study also provides technical reference and support the need for multivariate
multi-modal diagnosis methods.
- Abstract(参考訳): 近年,アルツハイマー病(AD)の早期診断のための神経画像データにディープラーニングモデルが応用されている。
構造磁気共鳴画像(sMRI)とポジトロン放射断層画像(PET)は、それぞれ脳の構造的情報と機能的情報を提供する。
これらの特徴を組み合わせることで、AD診断のための予測モデルを構築する場合、単一のモダリティのみを使用することよりもパフォーマンスが向上する。
しかし、現在、sMRIとPETに基づくディープラーニングにおけるマルチモーダルなアプローチは、主に畳み込みニューラルネットワークに限られており、被験者のイメージ情報と表現型情報の統合が容易ではない。
我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。
本研究では、sMRIやPET画像から脳ネットワークが生成され、表現型情報とこれらの脳ネットワークのイメージング特徴を組み合わせた集団グラフフレームワークで使用されるかを示す。
そこで我々は,各モードが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し,ノードベクトルと隣接行列の両レベルでのマルチモーダルデータを組み合わせる手法を提案する。
最後に、各ブランチで行った予備的な決定を組み合わせるために遅延融合を行い、最終的な予測を行う。
マルチモーダルデータが利用可能になると、マルチソースとマルチモーダルがAD診断のトレンドとなる。
マルチモーダル画像データと非画像表現型情報を組み合わせた爆発的実験を行い, 表現型情報が診断性能に与える影響について検討した。
実験の結果,提案手法がad診断の性能を向上させることを実証し,多変量多変量診断法の必要性も示唆した。
関連論文リスト
- fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳(メタデータ) (2023-09-13T09:22:49Z) - MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized
Multimodal Fusion of Medical Data for Outcome Prediction [3.2889220522843625]
我々はMaxCorr MGNNと呼ばれる革新的な融合手法を開発し、患者内および患者間の非線形モダリティ相関をモデル化する。
次に,多層グラフにおけるタスクインフォームド推論のための汎用多層グラフニューラルネットワーク(MGNN)を初めて設計する。
我々は,本モデルを結核データセットにおける結果予測タスクとして評価し,最先端のニューラルネットワーク,グラフベース,従来の融合技術より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-07-13T23:52:41Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Hierarchical Graph Convolutional Network Built by Multiscale Atlases for
Brain Disorder Diagnosis Using Functional Connectivity [48.75665245214903]
本稿では,脳疾患診断のためのマルチスケールFCN解析を行うための新しいフレームワークを提案する。
まず、マルチスケールFCNを計算するために、明確に定義されたマルチスケールアトラスのセットを用いる。
そこで我々は, 生物的に有意な脳階層的関係を多スケールアトラスの領域で利用し, 結節プールを行う。
論文 参考訳(メタデータ) (2022-09-22T04:17:57Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Characterization Multimodal Connectivity of Brain Network by Hypergraph
GAN for Alzheimer's Disease Analysis [30.99183477161096]
脳ネットワークを特徴付けるマルチモーダル・ニューロイメージングデータは、現在、アルツハイマー病(AD)解析の高度な技術である。
DTI と rs-fMRI の組合せから脳ネットワークのマルチモーダル接続を生成するための新しいハイパーグラフ生成支援ネットワーク (HGGAN) を提案する。
論文 参考訳(メタデータ) (2021-07-21T09:02:29Z) - Multimodal Representations Learning and Adversarial Hypergraph Fusion
for Early Alzheimer's Disease Prediction [30.99183477161096]
本稿では,アルツハイマー病診断のための新しい表現学習と逆向きハイパーグラフ融合フレームワークを提案する。
本モデルは、他の関連モデルと比較して、アルツハイマー病の検出において優れた性能を発揮する。
論文 参考訳(メタデータ) (2021-07-21T08:08:05Z) - Input Agnostic Deep Learning for Alzheimer's Disease Classification
Using Multimodal MRI Images [1.4848525762485871]
アルツハイマー病(英語: Alzheimer's disease、AD)は、記憶障害や機能障害を引き起こす進行性脳疾患である。
本研究では,通常の認知,軽度認知障害,ADクラスを分類するために,マルチモーダル・ディープ・ラーニング・アプローチを用いる。
論文 参考訳(メタデータ) (2021-07-19T08:19:34Z) - Ensemble manifold based regularized multi-modal graph convolutional
network for cognitive ability prediction [33.03449099154264]
マルチモーダル機能磁気共鳴イメージング(fMRI)を使用して、脳の接続ネットワークに基づいて個々の行動特性および認知特性を予測することができます。
本稿では,fMRI時系列と各脳領域間の機能接続(FC)を組み込んだ,解釈可能な多モードグラフ畳み込みネットワーク(MGCN)モデルを提案する。
我々は、フィラデルフィア神経開発コホート上のMGCNモデルを検証し、個々の広範囲達成テスト(WRAT)スコアを予測します。
論文 参考訳(メタデータ) (2021-01-20T20:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。