論文の概要: An Interpretable Cross-Attentive Multi-modal MRI Fusion Framework for Schizophrenia Diagnosis
- arxiv url: http://arxiv.org/abs/2404.00144v1
- Date: Fri, 29 Mar 2024 20:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 07:07:01.810272
- Title: An Interpretable Cross-Attentive Multi-modal MRI Fusion Framework for Schizophrenia Diagnosis
- Title（参考訳）: 統合失調症診断のための解釈可能な多モードMRI統合フレームワーク
- Authors: Ziyu Zhou, Anton Orlichenko, Gang Qu, Zening Fu, Vince D Calhoun, Zhengming Ding, Yu-Ping Wang,
- Abstract要約: 本稿では,fMRI と sMRI のモーダル内およびモーダル間関係を捉えるために,CAMF (Cross-Attentive Multi-modal Fusion framework) を提案する。
提案手法は,2つの広範囲なマルチモーダル脳画像データセットを用いた評価により,分類精度を著しく向上させる。
勾配誘導Score-CAMは、統合失調症に関連する重要な機能的ネットワークと脳領域の解釈に応用される。
- 参考スコア（独自算出の注目度）: 46.58592655409785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Both functional and structural magnetic resonance imaging (fMRI and sMRI) are widely used for the diagnosis of mental disorder. However, combining complementary information from these two modalities is challenging due to their heterogeneity. Many existing methods fall short of capturing the interaction between these modalities, frequently defaulting to a simple combination of latent features. In this paper, we propose a novel Cross-Attentive Multi-modal Fusion framework (CAMF), which aims to capture both intra-modal and inter-modal relationships between fMRI and sMRI, enhancing multi-modal data representation. Specifically, our CAMF framework employs self-attention modules to identify interactions within each modality while cross-attention modules identify interactions between modalities. Subsequently, our approach optimizes the integration of latent features from both modalities. This approach significantly improves classification accuracy, as demonstrated by our evaluations on two extensive multi-modal brain imaging datasets, where CAMF consistently outperforms existing methods. Furthermore, the gradient-guided Score-CAM is applied to interpret critical functional networks and brain regions involved in schizophrenia. The bio-markers identified by CAMF align with established research, potentially offering new insights into the diagnosis and pathological endophenotypes of schizophrenia.
- Abstract（参考訳）: 機能的および構造的MRI(fMRI)とsMRI(sMRI)の両方が精神疾患の診断に広く用いられている。
しかし、これらの2つのモダリティの相補的な情報を組み合わせることは、その不均一性のために困難である。
既存の多くのメソッドは、これらのモダリティ間の相互作用をキャプチャするに足りず、しばしば遅延特徴の単純な組み合わせにデフォルトとなる。
本稿では,fMRIとsMRIのモーダル内およびモーダル間関係を捕捉し,マルチモーダルデータ表現を向上させることを目的とした,クロス・アテンティブ・マルチモーダル・フュージョン(CAMF)フレームワークを提案する。
具体的には、我々のCAMFフレームワークは、各モード間の相互作用を識別するために自己アテンションモジュールを使用し、一方、相互アテンションモジュールはモーダル間の相互作用を識別する。
その後、本手法は両方のモードから潜在機能の統合を最適化する。
提案手法は,CAMFが既存の手法を一貫して上回っている2つの広範囲なマルチモーダル脳画像データセットに対する評価により,分類精度を著しく向上させる。
さらに、勾配誘導Score-CAMは、統合失調症に関連する重要な機能的ネットワークと脳領域の解釈に応用される。
CAMFが同定したバイオマーカーは確立した研究と一致し、統合失調症の診断と病態内因性型に関する新たな知見を提供する可能性がある。
関連論文リスト
- Integrated Brain Connectivity Analysis with fMRI, DTI, and sMRI Powered by Interpretable Graph Neural Networks [17.063133885403154]
我々は, 磁気共鳴イメージング, 拡散テンソルイメージング, 構造MRIを結合構造に統合した。
提案手法は,ニューラルネットワークの重み付けにマスキング戦略を導入し,マルチモーダル画像データの総合的アマルガメーションを容易にする。
このモデルは、ヒューマンコネクトームプロジェクト(Human Connectome Project)の開発研究に応用され、若年期のマルチモーダルイメージングと認知機能との関係を明らかにする。
論文 参考訳（メタデータ） (2024-08-26T13:16:42Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳（メタデータ） (2024-01-17T07:54:49Z) - HA-HI: Synergising fMRI and DTI through Hierarchical Alignments and
Hierarchical Interactions for Mild Cognitive Impairment Diagnosis [10.028997265879598]
軽度認知障害(MCI)と主観的認知低下(SCD)の診断のための新しい階層的アライメントと階層的相互作用(HA-HI)法を導入する。
HA-HIは、様々な特徴型を整列し、それらの相互作用を階層的に最大化することで、MCIまたはSCD関連の重要な地域および接続特性を効率的に学習する。
提案手法の解釈可能性を高めるために,MCI/SCDを示す重要な脳領域と接続を明らかにするSynergistic Activation Map (SAM) 技術を開発した。
論文 参考訳（メタデータ） (2024-01-02T12:46:02Z) - Multi-Dimension-Embedding-Aware Modality Fusion Transformer for
Psychiatric Disorder Clasification [13.529183496842819]
本研究では,入力2次元時系列のrs-fMRIと3次元ボリュームT1wの深層学習アーキテクチャを構築した。
統合失調症と双極性障害の診断において,MFFormerは単モードMRIや多モードMRIより優れていることを示す。
論文 参考訳（メタデータ） (2023-10-04T10:02:04Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Mapping individual differences in cortical architecture using multi-view
representation learning [0.0]
本稿では,タスクfMRIと安静状態fMRIで計測されたアクティベーションと接続性に基づく情報を組み合わせて,新しい機械学習手法を提案する。
マルチビューディープ・オートエンコーダは、2つのfMRIモダリティを、患者を特徴づけるスカラースコアを推測するために予測モデルが訓練されたジョイント表現空間に融合させるように設計されている。
論文 参考訳（メタデータ） (2020-04-01T09:01:25Z) - Meta-modal Information Flow: A Method for Capturing Multimodal Modular
Disconnectivity in Schizophrenia [11.100316178148994]
統合失調症(SZ)における解離と機能不全の仮説に対処するための多モードデータを活用する手法を提案する。
マルチモーダルデータセットを通して精神疾患に関連するリンクを特定するために,GGMに適用可能なモジュール性に基づく手法を提案する。
シミュレーションと実データにより,本手法は単一モダリティに焦点をあてて欠落する疾患関連ネットワーク破壊に関する重要な情報を明らかにする。
論文 参考訳（メタデータ） (2020-01-06T18:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。