Fugu-MT 論文翻訳(概要): SwiFT: Swin 4D fMRI Transformer

論文の概要: SwiFT: Swin 4D fMRI Transformer

arxiv url: http://arxiv.org/abs/2307.05916v2
Date: Tue, 31 Oct 2023 04:54:00 GMT
ステータス: 処理完了
システム内更新日: 2023-11-01 23:17:40.784348
Title: SwiFT: Swin 4D fMRI Transformer
Title（参考訳）: SwiFT:スウィン4D fMRI変換器
Authors: Peter Yongho Kim, Junbeom Kwon, Sunghwan Joo, Sangyoon Bae, Donggyu Lee, Yoonho Jung, Shinjae Yoo, Jiook Cha, Taesup Moon
Abstract要約: SwiFTS (win 4D fMRI Transformer) は,fMRIのボリュームから直接脳のダイナミクスを学習できるSwin Transformerアーキテクチャである。複数の大規模静止状態fMRIデータセットを用いてSwiFTを評価し,性別年齢と認知知能を予測する。
参考スコア（独自算出の注目度）: 17.95502427633986
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Modeling spatiotemporal brain dynamics from high-dimensional data, such as functional Magnetic Resonance Imaging (fMRI), is a formidable task in neuroscience. Existing approaches for fMRI analysis utilize hand-crafted features, but the process of feature extraction risks losing essential information in fMRI scans. To address this challenge, we present SwiFT (Swin 4D fMRI Transformer), a Swin Transformer architecture that can learn brain dynamics directly from fMRI volumes in a memory and computation-efficient manner. SwiFT achieves this by implementing a 4D window multi-head self-attention mechanism and absolute positional embeddings. We evaluate SwiFT using multiple large-scale resting-state fMRI datasets, including the Human Connectome Project (HCP), Adolescent Brain Cognitive Development (ABCD), and UK Biobank (UKB) datasets, to predict sex, age, and cognitive intelligence. Our experimental outcomes reveal that SwiFT consistently outperforms recent state-of-the-art models. Furthermore, by leveraging its end-to-end learning capability, we show that contrastive loss-based self-supervised pre-training of SwiFT can enhance performance on downstream tasks. Additionally, we employ an explainable AI method to identify the brain regions associated with sex classification. To our knowledge, SwiFT is the first Swin Transformer architecture to process dimensional spatiotemporal brain functional data in an end-to-end fashion. Our work holds substantial potential in facilitating scalable learning of functional brain imaging in neuroscience research by reducing the hurdles associated with applying Transformer models to high-dimensional fMRI.
Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)のような高次元データから時空間脳のダイナミクスをモデル化することは神経科学において大きな課題である。既存のfMRI解析手法では手作りの特徴を生かしているが,fMRIスキャンでは特徴抽出の過程で重要な情報が失われるリスクがある。この課題に対処するために、スウィントランスフォーマーアーキテクチャであるSwiFT(Swin 4D fMRI Transformer)を提案する。 swiftは4dウィンドウのマルチヘッドセルフアテンション機構と絶対位置埋め込みを実装することでこれを実現する。我々は、Human Connectome Project(HCP)、Adolescent Brain Cognitive Development(ABCD)、UK Biobank(UKB)といった大規模なfMRIデータセットを用いてSwiFTを評価し、性別、年齢、認知情報を予測する。我々の実験結果から、SwiFTは最新の最先端モデルよりも一貫して優れています。さらに、そのエンドツーエンド学習能力を活用することで、SwiFTの損失に基づく自己教師付き事前学習が下流タスクの性能を向上させることを示す。さらに、性別分類に関連する脳領域を特定するために、説明可能なAI手法を用いる。我々の知る限り、SwiFTは次元時空間脳機能データをエンドツーエンドで処理する最初のSwin Transformerアーキテクチャである。我々の研究は、高次元fMRIにTransformerモデルを適用する際のハードルを減らし、神経科学研究における機能的脳画像のスケーラブルな学習を促進する大きな可能性を秘めている。

関連論文リスト

MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
論文参考訳（メタデータ） (2025-02-07T16:01:59Z)
Classification of Mild Cognitive Impairment Based on Dynamic Functional Connectivity Using Spatio-Temporal Transformer [30.044545011553172]
本稿では,dFC内における空間情報と時間情報の両方の埋め込みを共同で学習する新しい枠組みを提案する。アルツハイマー病神経画像イニシアチブ(ADNI)から570回のスキャンを行った345名の被験者を対象に,提案手法の優位性を実証した。
論文参考訳（メタデータ） (2025-01-27T18:20:33Z)
Predicting Human Brain States with Transformer [45.25907962341717]
自己注意に基づくモデルでは、以前の21.6sで5.04sまでの脳状態を正確に予測できることが示される。これらの有望な初期結果は、fMRIデータに対するジェネリックモデルの開発の可能性を示している。
論文参考訳（メタデータ） (2024-12-11T00:18:39Z)
Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文参考訳（メタデータ） (2024-05-24T06:06:11Z)
Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文参考訳（メタデータ） (2024-05-21T20:37:07Z)
ACTION: Augmentation and Computation Toolbox for Brain Network Analysis with Functional MRI [28.639321546348654]
ActionはfMRI分析のためのPythonベースのクロスプラットフォームツールボックスである。自動fMRI増強、血液酸素レベル依存(BOLD)シグナル増強、脳ネットワーク増強を可能にする。大規模な補助的なラベルなしデータを活用するディープラーニングモデルの構築をサポートする。
論文参考訳（メタデータ） (2024-05-10T01:45:09Z)
MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文参考訳（メタデータ） (2024-04-11T15:46:42Z)
Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
論文参考訳（メタデータ） (2023-11-30T22:39:23Z)
fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文参考訳（メタデータ） (2023-11-01T07:24:22Z)
BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文参考訳（メタデータ） (2023-02-25T03:28:54Z)
EEG to fMRI Synthesis: Is Deep Learning a candidate? [0.913755431537592]
この研究は、脳波(EEG)ビューデータからfMRIデータを合成するために、Neural Processingから最先端の原理を使用する方法について、初めて包括的な情報を提供する。オートエンコーダ,ジェネレータネットワーク,ペアワイズラーニングなど,最先端の合成手法の比較を行った。結果は、fMRI脳画像マッピングに対する脳波の実現可能性を強調し、機械学習における現在の進歩の役割を指摘し、パフォーマンスをさらに向上するために、今後のコントリビューションの関連性を示す。
論文参考訳（メタデータ） (2020-09-29T16:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。