論文の概要: Multi-Dimension-Embedding-Aware Modality Fusion Transformer for Psychiatric Disorder Clasification

• arxiv url: http://arxiv.org/abs/2310.02690v1
• Date: Wed, 4 Oct 2023 10:02:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 15:50:03.281788
• Title: Multi-Dimension-Embedding-Aware Modality Fusion Transformer for Psychiatric Disorder Clasification
• Title（参考訳）: 精神疾患診断のための多次元埋め込み型モダリティ融合変圧器
• Authors: Guoxin Wang, Xuyang Cao, Shan An, Fengmei Fan, Chao Zhang, Jinsong Wang, Feng Yu, Zhiren Wang
• Abstract要約: 本研究では,入力2次元時系列のrs-fMRIと3次元ボリュームT1wの深層学習アーキテクチャを構築した。 統合失調症と双極性障害の診断において,MFFormerは単モードMRIや多モードMRIより優れていることを示す。
• 参考スコア（独自算出の注目度）: 13.529183496842819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning approaches, together with neuroimaging techniques, play an important role in psychiatric disorders classification. Previous studies on psychiatric disorders diagnosis mainly focus on using functional connectivity matrices of resting-state functional magnetic resonance imaging (rs-fMRI) as input, which still needs to fully utilize the rich temporal information of the time series of rs-fMRI data. In this work, we proposed a multi-dimension-embedding-aware modality fusion transformer (MFFormer) for schizophrenia and bipolar disorder classification using rs-fMRI and T1 weighted structural MRI (T1w sMRI). Concretely, to fully utilize the temporal information of rs-fMRI and spatial information of sMRI, we constructed a deep learning architecture that takes as input 2D time series of rs-fMRI and 3D volumes T1w. Furthermore, to promote intra-modality attention and information fusion across different modalities, a fusion transformer module (FTM) is designed through extensive self-attention of hybrid feature maps of multi-modality. In addition, a dimension-up and dimension-down strategy is suggested to properly align feature maps of multi-dimensional from different modalities. Experimental results on our private and public OpenfMRI datasets show that our proposed MFFormer performs better than that using a single modality or multi-modality MRI on schizophrenia and bipolar disorder diagnosis.
• Abstract（参考訳）: 深層学習のアプローチは、神経画像技術とともに、精神疾患の分類において重要な役割を果たす。 精神疾患の診断に関するこれまでの研究は、主に、sending-state functional magnetic resonance imaging (rs-fMRI)の機能的接続行列を入力として使用することに焦点を当てており、なおも、時系列のrs-fMRIデータの豊富な時間情報を完全に活用する必要がある。 本研究では,統合失調症と双極性障害分類のための多次元埋め込み型モダリティ融合トランス (MFFormer) について, rs-fMRIとT1重み付き構造MRI (T1w sMRI) を用いた検討を行った。 具体的には、rs-fMRIの時間的情報とsMRIの空間的情報を完全に活用するために、入力2次元時系列のrs-fMRIと3次元ボリュームT1wの深層学習アーキテクチャを構築した。 さらに,多モードのハイブリッド特徴写像を多モードで自己アテンションすることで,モダリティ内への注意と情報融合を促進するために,FTM(Fusion Transformer Module)を設計する。 さらに,多次元特徴写像を異なるモジュラリティから適切に整列させるために,次元アップと次元ダウンの戦略を提案する。 今回提案したMFFormerは,統合失調症と双極性障害の診断において,単モードMRIや多モードMRIより優れていた。

関連論文リスト

• MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI [50.55024115943266]
  我々は、fMRI条件の特徴ベクトルを生成するためにMindFormerと呼ばれる新しいトランスフォーマーアーキテクチャを導入する。 MindFormerは,1)fMRI信号から意味論的に意味のある特徴を抽出するIP-Adapterに基づく新しいトレーニング戦略,2)fMRI信号の個人差を効果的に捉える主観的トークンと線形層である。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• An Interpretable Cross-Attentive Multi-modal MRI Fusion Framework for Schizophrenia Diagnosis [46.58592655409785]
  本稿では,fMRI と sMRI のモーダル内およびモーダル間関係を捉えるために,CAMF (Cross-Attentive Multi-modal Fusion framework) を提案する。 提案手法は,2つの広範囲なマルチモーダル脳画像データセットを用いた評価により,分類精度を著しく向上させる。 勾配誘導Score-CAMは、統合失調症に関連する重要な機能的ネットワークと脳領域の解釈に応用される。
  論文  参考訳（メタデータ） (2024-03-29T20:32:30Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• Input Agnostic Deep Learning for Alzheimer's Disease Classification Using Multimodal MRI Images [1.4848525762485871]
  アルツハイマー病(英語: Alzheimer's disease、AD)は、記憶障害や機能障害を引き起こす進行性脳疾患である。 本研究では,通常の認知,軽度認知障害,ADクラスを分類するために,マルチモーダル・ディープ・ラーニング・アプローチを用いる。
  論文  参考訳（メタデータ） (2021-07-19T08:19:34Z)
• Meta-modal Information Flow: A Method for Capturing Multimodal Modular Disconnectivity in Schizophrenia [11.100316178148994]
  統合失調症(SZ)における解離と機能不全の仮説に対処するための多モードデータを活用する手法を提案する。 マルチモーダルデータセットを通して精神疾患に関連するリンクを特定するために,GGMに適用可能なモジュール性に基づく手法を提案する。 シミュレーションと実データにより,本手法は単一モダリティに焦点をあてて欠落する疾患関連ネットワーク破壊に関する重要な情報を明らかにする。
  論文  参考訳（メタデータ） (2020-01-06T18:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。