論文の概要: Uncovering cognitive taskonomy through transfer learning in masked autoencoder-based fMRI reconstruction
- arxiv url: http://arxiv.org/abs/2407.00033v1
- Date: Fri, 24 May 2024 09:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 22:38:24.179523
- Title: Uncovering cognitive taskonomy through transfer learning in masked autoencoder-based fMRI reconstruction
- Title（参考訳）: マスク付きオートエンコーダを用いたfMRI再構成における伝達学習による認知的タスクノミーの解明
- Authors: Youzhi Qu, Junfeng Xia, Xinyao Jian, Wendu Li, Kaining Peng, Zhichao Liang, Haiyan Wu, Quanying Liu,
- Abstract要約: 機能的磁気共鳴画像(fMRI)データを再構成するために,マスク付きオートエンコーダ(MAE)モデルを用いる。
本研究は,maEモデルを用いたfMRI再構成により,潜在表現の発見が可能であることを示唆する。
- 参考スコア（独自算出の注目度）: 6.3348067441225915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data reconstruction is a widely used pre-training task to learn the generalized features for many downstream tasks. Although reconstruction tasks have been applied to neural signal completion and denoising, neural signal reconstruction is less studied. Here, we employ the masked autoencoder (MAE) model to reconstruct functional magnetic resonance imaging (fMRI) data, and utilize a transfer learning framework to obtain the cognitive taskonomy, a matrix to quantify the similarity between cognitive tasks. Our experimental results demonstrate that the MAE model effectively captures the temporal dynamics patterns and interactions within the brain regions, enabling robust cross-subject fMRI signal reconstruction. The cognitive taskonomy derived from the transfer learning framework reveals the relationships among cognitive tasks, highlighting subtask correlations within motor tasks and similarities between emotion, social, and gambling tasks. Our study suggests that the fMRI reconstruction with MAE model can uncover the latent representation and the obtained taskonomy offers guidance for selecting source tasks in neural decoding tasks for improving the decoding performance on target tasks.
- Abstract（参考訳）: データ再構成は、多くの下流タスクの一般的な機能を学ぶために広く使われている事前学習タスクである。
再建作業は、神経信号の完全化と復調に応用されているが、神経信号の再構成はあまり研究されていない。
ここでは、マスク付きオートエンコーダ(MAE)モデルを用いて、機能的磁気共鳴画像(fMRI)データを再構成し、伝達学習フレームワークを用いて、認知タスク間の類似性を定量化するためのマトリクスである認知タスクノミーを得る。
実験の結果,MAEモデルは脳領域内の時間的ダイナミクスパターンと相互作用を効果的に捉え,強靭なfMRI信号再構成を可能にすることがわかった。
伝達学習フレームワークから派生した認知的タスクノミーは、認知的タスク間の関係を明らかにし、運動タスクにおけるサブタスクの相関と、感情、社会的、ギャンブルタスクの類似性を明らかにする。
本研究は,MAEモデルを用いたfMRI再構成により潜在表現が発見でき,得られた課題は,目的タスクの復号性能を向上させるために,ニューラルデコードタスクにおけるソースタスクを選択するためのガイダンスを提供することを示唆する。
関連論文リスト
- BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。
BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2024-06-24T19:16:24Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。
これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。
本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-19T23:35:06Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Learning Sequential Information in Task-based fMRI for Synthetic Data
Augmentation [10.629487323161323]
本稿では、下流学習における強化トレーニングデータセットの作成に使用できる合成fMRIシーケンスの生成手法を提案する。
合成画像は、可視化や自閉症スペクトラム障害(ASD)分類タスクを含む複数の視点から評価される。
論文 参考訳（メタデータ） (2023-08-29T18:36:21Z) - Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。
最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
論文 参考訳（メタデータ） (2023-07-28T14:51:09Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Facial Image Reconstruction from Functional Magnetic Resonance Imaging
via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。
提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
論文 参考訳（メタデータ） (2022-07-03T11:18:35Z) - Attend and Decode: 4D fMRI Task State Decoding Using Attention Models [2.6954666679827137]
我々は、Brain Attend and Decode (BAnD)と呼ばれる新しいアーキテクチャを提案する。
BAnDは残留畳み込みニューラルネットワークを用いて空間的特徴抽出と時間的モデリングを行う。
我々は,Human Connectome Project-Young Adult データセットの 7-task ベンチマークによる以前の研究と比較して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2020-04-10T21:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。