論文の概要: fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding
- arxiv url: http://arxiv.org/abs/2311.00342v1
- Date: Wed, 1 Nov 2023 07:24:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:35:05.047992
- Title: fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding
- Title（参考訳）: fMRI-PTE:多目的脳活動復号のための大規模fMRIプリトレーニング変換器
- Authors: Xuelin Qian, Yun Wang, Jingyang Huo, Jianfeng Feng, Yanwei Fu
- Abstract要約: 本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
- 参考スコア（独自算出の注目度）: 54.17776744076334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The exploration of brain activity and its decoding from fMRI data has been a
longstanding pursuit, driven by its potential applications in brain-computer
interfaces, medical diagnostics, and virtual reality. Previous approaches have
primarily focused on individual subject analysis, highlighting the need for a
more universal and adaptable framework, which is the core motivation behind our
work. In this work, we propose fMRI-PTE, an innovative auto-encoder approach
for fMRI pre-training, with a focus on addressing the challenges of varying
fMRI data dimensions due to individual brain differences. Our approach involves
transforming fMRI signals into unified 2D representations, ensuring consistency
in dimensions and preserving distinct brain activity patterns. We introduce a
novel learning strategy tailored for pre-training 2D fMRI images, enhancing the
quality of reconstruction. fMRI-PTE's adaptability with image generators
enables the generation of well-represented fMRI features, facilitating various
downstream tasks, including within-subject and cross-subject brain activity
decoding. Our contributions encompass introducing fMRI-PTE, innovative data
transformation, efficient training, a novel learning strategy, and the
universal applicability of our approach. Extensive experiments validate and
support our claims, offering a promising foundation for further research in
this domain.
- Abstract（参考訳）: 脳活動の探索とfMRIデータからの復号は、脳-コンピュータインターフェース、医療診断、バーチャルリアリティーにおける潜在的な応用によって、長年にわたって追求されてきた。
従来のアプローチは、主に個別の主題分析に焦点を当てており、より普遍的で適応可能なフレームワークの必要性を強調しています。
本研究では,fMRIプリトレーニングのための革新的オートエンコーダアプローチであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の一貫性を確保し、異なる脳活動パターンを保存する。
2次元fmri画像の事前学習のための新しい学習戦略を導入し,再構成の質を高める。
fMRI-PTEのイメージジェネレータへの適応性は、よく表現されたfMRI機能の生成を可能にし、インテリアオブジェクトやクロスオブジェクトの脳活動デコーディングを含む、さまざまな下流タスクを容易にする。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
広範な実験が我々の主張を検証し、支持し、この領域におけるさらなる研究のための有望な基盤を提供する。
関連論文リスト
- BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。
BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2024-06-24T19:16:24Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。
この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-11-30T22:39:23Z) - Multi-Dimension-Embedding-Aware Modality Fusion Transformer for
Psychiatric Disorder Clasification [13.529183496842819]
本研究では,入力2次元時系列のrs-fMRIと3次元ボリュームT1wの深層学習アーキテクチャを構築した。
統合失調症と双極性障害の診断において,MFFormerは単モードMRIや多モードMRIより優れていることを示す。
論文 参考訳（メタデータ） (2023-10-04T10:02:04Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳（メタデータ） (2023-05-26T19:16:23Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。