論文の概要: fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding
- arxiv url: http://arxiv.org/abs/2311.00342v1
- Date: Wed, 1 Nov 2023 07:24:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:35:05.047992
- Title: fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding
- Title(参考訳): fMRI-PTE:多目的脳活動復号のための大規模fMRIプリトレーニング変換器
- Authors: Xuelin Qian, Yun Wang, Jingyang Huo, Jianfeng Feng, Yanwei Fu
- Abstract要約: 本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
- 参考スコア(独自算出の注目度): 54.17776744076334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The exploration of brain activity and its decoding from fMRI data has been a
longstanding pursuit, driven by its potential applications in brain-computer
interfaces, medical diagnostics, and virtual reality. Previous approaches have
primarily focused on individual subject analysis, highlighting the need for a
more universal and adaptable framework, which is the core motivation behind our
work. In this work, we propose fMRI-PTE, an innovative auto-encoder approach
for fMRI pre-training, with a focus on addressing the challenges of varying
fMRI data dimensions due to individual brain differences. Our approach involves
transforming fMRI signals into unified 2D representations, ensuring consistency
in dimensions and preserving distinct brain activity patterns. We introduce a
novel learning strategy tailored for pre-training 2D fMRI images, enhancing the
quality of reconstruction. fMRI-PTE's adaptability with image generators
enables the generation of well-represented fMRI features, facilitating various
downstream tasks, including within-subject and cross-subject brain activity
decoding. Our contributions encompass introducing fMRI-PTE, innovative data
transformation, efficient training, a novel learning strategy, and the
universal applicability of our approach. Extensive experiments validate and
support our claims, offering a promising foundation for further research in
this domain.
- Abstract(参考訳): 脳活動の探索とfMRIデータからの復号は、脳-コンピュータインターフェース、医療診断、バーチャルリアリティーにおける潜在的な応用によって、長年にわたって追求されてきた。
従来のアプローチは、主に個別の主題分析に焦点を当てており、より普遍的で適応可能なフレームワークの必要性を強調しています。
本研究では,fMRIプリトレーニングのための革新的オートエンコーダアプローチであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の一貫性を確保し、異なる脳活動パターンを保存する。
2次元fmri画像の事前学習のための新しい学習戦略を導入し,再構成の質を高める。
fMRI-PTEのイメージジェネレータへの適応性は、よく表現されたfMRI機能の生成を可能にし、インテリアオブジェクトやクロスオブジェクトの脳活動デコーディングを含む、さまざまな下流タスクを容易にする。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
広範な実験が我々の主張を検証し、支持し、この領域におけるさらなる研究のための有望な基盤を提供する。
関連論文リスト
- Multi-Dimension-Embedding-Aware Modality Fusion Transformer for
Psychiatric Disorder Clasification [13.529183496842819]
本研究では,入力2次元時系列のrs-fMRIと3次元ボリュームT1wの深層学習アーキテクチャを構築した。
統合失調症と双極性障害の診断において,MFFormerは単モードMRIや多モードMRIより優れていることを示す。
論文 参考訳(メタデータ) (2023-10-04T10:02:04Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳(メタデータ) (2023-09-13T09:22:49Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳(メタデータ) (2023-05-26T19:16:23Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - DeepBrainPrint: A Novel Contrastive Framework for Brain MRI
Re-Identification [2.5855676778881334]
我々はDeepBrainPrintというAIベースのフレームワークを提案し、同じ患者の脳MRIスキャンを検索する。
当社のフレームワークは,3つの主要なイノベーションを伴う,半自己指導型のコントラスト型ディープラーニングアプローチです。
DeepBrainPrintをアルツハイマー病脳画像イニシアチブ(ADNI)のT1強調脳MRIの大規模なデータセットでテストした。
論文 参考訳(メタデータ) (2023-02-25T11:03:16Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks [69.85819388753579]
TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。
自己教師付きトレーニングは、fMRIスキャンのコレクションに適用され、モデルが3Dボリュームデータの再構成のために訓練される。
その結果、年齢や性別の予測、統合失調症認知など、さまざまなfMRIタスクにおける最先端のパフォーマンスが示された。
論文 参考訳(メタデータ) (2021-12-10T18:04:26Z) - Deep Transfer Learning for Brain Magnetic Resonance Image Multi-class
Classification [0.6117371161379209]
我々は、Deep Transfer Learningを用いて脳MRI画像中の腫瘍の多重分類を行うフレームワークを開発した。
新たなデータセットと2つの公開MRI脳データセットを使用して、提案手法は86.40%の精度で分類された。
本研究は,脳腫瘍のマルチクラス化タスクにおいて,トランスファーラーニングのためのフレームワークが有用かつ効果的な方法であることを示すものである。
論文 参考訳(メタデータ) (2021-06-14T12:19:27Z) - EEG to fMRI Synthesis: Is Deep Learning a candidate? [0.913755431537592]
この研究は、脳波(EEG)ビューデータからfMRIデータを合成するために、Neural Processingから最先端の原理を使用する方法について、初めて包括的な情報を提供する。
オートエンコーダ,ジェネレータネットワーク,ペアワイズラーニングなど,最先端の合成手法の比較を行った。
結果は、fMRI脳画像マッピングに対する脳波の実現可能性を強調し、機械学習における現在の進歩の役割を指摘し、パフォーマンスをさらに向上するために、今後のコントリビューションの関連性を示す。
論文 参考訳(メタデータ) (2020-09-29T16:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。