論文の概要: SwiFT: Swin 4D fMRI Transformer
- arxiv url: http://arxiv.org/abs/2307.05916v2
- Date: Tue, 31 Oct 2023 04:54:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 23:17:40.784348
- Title: SwiFT: Swin 4D fMRI Transformer
- Title(参考訳): SwiFT:スウィン4D fMRI変換器
- Authors: Peter Yongho Kim, Junbeom Kwon, Sunghwan Joo, Sangyoon Bae, Donggyu
Lee, Yoonho Jung, Shinjae Yoo, Jiook Cha, Taesup Moon
- Abstract要約: SwiFTS (win 4D fMRI Transformer) は,fMRIのボリュームから直接脳のダイナミクスを学習できるSwin Transformerアーキテクチャである。
複数の大規模静止状態fMRIデータセットを用いてSwiFTを評価し,性別年齢と認知知能を予測する。
- 参考スコア(独自算出の注目度): 17.95502427633986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling spatiotemporal brain dynamics from high-dimensional data, such as
functional Magnetic Resonance Imaging (fMRI), is a formidable task in
neuroscience. Existing approaches for fMRI analysis utilize hand-crafted
features, but the process of feature extraction risks losing essential
information in fMRI scans. To address this challenge, we present SwiFT (Swin 4D
fMRI Transformer), a Swin Transformer architecture that can learn brain
dynamics directly from fMRI volumes in a memory and computation-efficient
manner. SwiFT achieves this by implementing a 4D window multi-head
self-attention mechanism and absolute positional embeddings. We evaluate SwiFT
using multiple large-scale resting-state fMRI datasets, including the Human
Connectome Project (HCP), Adolescent Brain Cognitive Development (ABCD), and UK
Biobank (UKB) datasets, to predict sex, age, and cognitive intelligence. Our
experimental outcomes reveal that SwiFT consistently outperforms recent
state-of-the-art models. Furthermore, by leveraging its end-to-end learning
capability, we show that contrastive loss-based self-supervised pre-training of
SwiFT can enhance performance on downstream tasks. Additionally, we employ an
explainable AI method to identify the brain regions associated with sex
classification. To our knowledge, SwiFT is the first Swin Transformer
architecture to process dimensional spatiotemporal brain functional data in an
end-to-end fashion. Our work holds substantial potential in facilitating
scalable learning of functional brain imaging in neuroscience research by
reducing the hurdles associated with applying Transformer models to
high-dimensional fMRI.
- Abstract(参考訳): 機能的磁気共鳴イメージング(fMRI)のような高次元データから時空間脳のダイナミクスをモデル化することは神経科学において大きな課題である。
既存のfMRI解析手法では手作りの特徴を生かしているが,fMRIスキャンでは特徴抽出の過程で重要な情報が失われるリスクがある。
この課題に対処するために、スウィントランスフォーマーアーキテクチャであるSwiFT(Swin 4D fMRI Transformer)を提案する。
swiftは4dウィンドウのマルチヘッドセルフアテンション機構と絶対位置埋め込みを実装することでこれを実現する。
我々は、Human Connectome Project(HCP)、Adolescent Brain Cognitive Development(ABCD)、UK Biobank(UKB)といった大規模なfMRIデータセットを用いてSwiFTを評価し、性別、年齢、認知情報を予測する。
我々の実験結果から、SwiFTは最新の最先端モデルよりも一貫して優れています。
さらに、そのエンドツーエンド学習能力を活用することで、SwiFTの損失に基づく自己教師付き事前学習が下流タスクの性能を向上させることを示す。
さらに、性別分類に関連する脳領域を特定するために、説明可能なAI手法を用いる。
我々の知る限り、SwiFTは次元時空間脳機能データをエンドツーエンドで処理する最初のSwin Transformerアーキテクチャである。
我々の研究は、高次元fMRIにTransformerモデルを適用する際のハードルを減らし、神経科学研究における機能的脳画像のスケーラブルな学習を促進する大きな可能性を秘めている。
関連論文リスト
- Leveraging sinusoidal representation networks to predict fMRI signals
from EEG [3.3121941932506473]
本稿では,マルチチャネル脳波から直接fMRI信号を予測できる新しいアーキテクチャを提案する。
本モデルは,脳波の周波数情報を学習するための正弦波表現ネットワーク(SIREN)を実装して実現している。
我々は,脳波-fMRI同時データセットを8被験者で評価し,脳皮質下 fMRI 信号の予測の可能性について検討した。
論文 参考訳(メタデータ) (2023-11-06T03:16:18Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳(メタデータ) (2022-10-23T15:11:37Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳(メタデータ) (2022-10-08T12:14:33Z) - DynDepNet: Learning Time-Varying Dependency Structures from fMRI Data
via Dynamic Graph Structure Learning [58.94034282469377]
下流予測タスクによって誘導されるfMRIデータの最適時間変化依存性構造を学習する新しい手法であるDynDepNetを提案する。
実世界のfMRIデータセットの実験は、性別分類のタスクにおいて、DynDepNetが最先端の結果を達成することを実証している。
論文 参考訳(メタデータ) (2022-09-27T16:32:11Z) - Cross-Modality Neuroimage Synthesis: A Survey [71.27193056354741]
マルチモダリティイメージングは、疾患の診断を改善し、解剖学的特性を持つ組織における相違を明らかにする。
完全な整列とペアの多モードニューロイメージングデータの存在は、脳研究においてその効果を証明している。
もう一つの解決策は、教師なしまたは弱教師なしの学習方法を探究し、欠落した神経画像データを合成することである。
論文 参考訳(メタデータ) (2022-02-14T19:29:08Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - EEG to fMRI Synthesis: Is Deep Learning a candidate? [0.913755431537592]
この研究は、脳波(EEG)ビューデータからfMRIデータを合成するために、Neural Processingから最先端の原理を使用する方法について、初めて包括的な情報を提供する。
オートエンコーダ,ジェネレータネットワーク,ペアワイズラーニングなど,最先端の合成手法の比較を行った。
結果は、fMRI脳画像マッピングに対する脳波の実現可能性を強調し、機械学習における現在の進歩の役割を指摘し、パフォーマンスをさらに向上するために、今後のコントリビューションの関連性を示す。
論文 参考訳(メタデータ) (2020-09-29T16:29:20Z) - Attend and Decode: 4D fMRI Task State Decoding Using Attention Models [2.6954666679827137]
我々は、Brain Attend and Decode (BAnD)と呼ばれる新しいアーキテクチャを提案する。
BAnDは残留畳み込みニューラルネットワークを用いて空間的特徴抽出と時間的モデリングを行う。
我々は,Human Connectome Project-Young Adult データセットの 7-task ベンチマークによる以前の研究と比較して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2020-04-10T21:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。