論文の概要: Attention module improves both performance and interpretability of 4D
fMRI decoding neural network
- arxiv url: http://arxiv.org/abs/2110.00920v1
- Date: Sun, 3 Oct 2021 04:15:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-06 07:33:22.598155
- Title: Attention module improves both performance and interpretability of 4D
fMRI decoding neural network
- Title(参考訳): アテンションモジュールは4次元fMRIデコードニューラルネットワークの性能と解釈性を改善する
- Authors: Zhoufan Jiang, Yanming Wang, ChenWei Shi, Yueyang Wu, Rongjie Hu,
Shishuo Chen, Sheng Hu, Xiaoxiao Wang, Bensheng Qiu
- Abstract要約: 近年、ディープニューラルネットワーク(DNN)は複数の脳状態復号のために採用されている。
注意モジュールを脳デコーダに統合し,DNNチャネルの深い解釈を容易にする。
また、fMRI信号内のテンポロ・空間相互作用を抽出する4次元畳み込み操作も行われた。
- 参考スコア(独自算出の注目度): 4.993578906417661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoding brain cognitive states from neuroimaging signals is an important
topic in neuroscience. In recent years, deep neural networks (DNNs) have been
recruited for multiple brain state decoding and achieved good performance.
However, the open question of how to interpret the DNN black box remains
unanswered. Capitalizing on advances in machine learning, we integrated
attention modules into brain decoders to facilitate an in-depth interpretation
of DNN channels. A 4D convolution operation was also included to extract
temporo-spatial interaction within the fMRI signal. The experiments showed that
the proposed model obtains a very high accuracy (97.4%) and outperforms
previous researches on the 7 different task benchmarks from the Human
Connectome Project (HCP) dataset. The visualization analysis further
illustrated the hierarchical emergence of task-specific masks with depth.
Finally, the model was retrained to regress individual traits within the HCP
and to classify viewing images from the BOLD5000 dataset, respectively.
Transfer learning also achieves good performance. A further visualization
analysis shows that, after transfer learning, low-level attention masks
remained similar to the source domain, whereas high-level attention masks
changed adaptively. In conclusion, the proposed 4D model with attention module
performed well and facilitated interpretation of DNNs, which is helpful for
subsequent research.
- Abstract(参考訳): 神経画像信号から脳の認知状態を復号することは神経科学において重要なトピックである。
近年、ディープニューラルネットワーク(DNN)は、複数の脳状態復号化のために採用され、優れたパフォーマンスを実現している。
しかし、DNNのブラックボックスをどう解釈するかというオープンな問題は未解決のままである。
機械学習の進歩に乗じて、我々は注目モジュールを脳デコーダに統合し、DNNチャネルの深い解釈を容易にする。
また,fMRI信号内の時間空間相互作用を抽出する4次元畳み込み操作も行った。
実験により、提案モデルは非常に高い精度(97.4%)を得て、ヒトコネクトームプロジェクト(hcp)データセットから得られた7つの異なるタスクベンチマークを上回った。
可視化分析により,奥行きを持つタスク固有マスクの階層的出現がさらに示された。
最後に、モデルは、HCP内の個々の特性を回帰し、BOLD5000データセットから画像をそれぞれ分類するために再訓練された。
転送学習も優れたパフォーマンスを達成します。
さらなる可視化分析により、トランスファー学習後、低レベルアテンションマスクはソースドメインに類似し、高レベルアテンションマスクは適応的に変化した。
その結果,提案する注意モジュール付き4次元モデルが良好に機能し,その後の研究に役立つdnnの解釈が容易になった。
関連論文リスト
- Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment [2.035627332992055]
認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程における人間の視覚野の神経活動を記録することができる。
本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。
fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方においてヒトの脳との類似性が高く、また、内・内・対モダリティモデル脳(fMRI、EEG)も高い類似性を示した。
論文 参考訳(メタデータ) (2024-07-15T03:31:42Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳(メタデータ) (2024-05-24T06:06:11Z) - See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
論文 参考訳(メタデータ) (2024-03-11T01:18:49Z) - Explainable Cost-Sensitive Deep Neural Networks for Brain Tumor
Detection from Brain MRI Images considering Data Imbalance [0.0]
CNN、ResNet50、InceptionV3、EfficientNetB0、NASNetMobileの5つのモデルを含む自動パイプラインが提案されている。
提案アーキテクチャの性能はバランスの取れたデータセットで評価され、微調整されたInceptionV3モデルに対して99.33%の精度が得られた。
トレーニングプロセスをさらに最適化するために、不均衡なデータセットを扱うために、コストに敏感なニューラルネットワークアプローチが提案されている。
論文 参考訳(メタデータ) (2023-08-01T15:35:06Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳(メタデータ) (2023-05-02T22:15:54Z) - Predicting Brain Age using Transferable coVariance Neural Networks [119.45320143101381]
我々は最近,サンプル共分散行列で動作する共分散ニューラルネットワーク(VNN)について検討した。
本稿では,大脳皮質厚みデータを用いた脳年齢推定におけるVNNの有用性を示す。
以上の結果から、VNNは脳年齢推定のためのマルチスケールおよびマルチサイト転送性を示すことが明らかとなった。
アルツハイマー病(AD)の脳年齢の文脈では,健常者に対してVNNを用いて予測される脳年齢がADに対して有意に上昇していることから,VNNの出力は解釈可能であることが示された。
論文 参考訳(メタデータ) (2022-10-28T18:58:34Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-Temporal
Sparse Few-shot Learning [10.812738608234321]
我々は、Dynamic Vision Sensor (DVS)を用いて、最初のニューロモルフィックデータセット、N-Omniglotを提供する。
1623種類の手書き文字が含まれており、クラスごとに20のサンプルしか持たない。
このデータセットは、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。
論文 参考訳(メタデータ) (2021-12-25T12:41:34Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳(メタデータ) (2020-06-20T17:56:46Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。