論文の概要: Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks

• arxiv url: http://arxiv.org/abs/2305.09057v1
• Date: Mon, 15 May 2023 22:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 17:04:42.532851
• Title: Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks
• Title（参考訳）: 脳復号処理への変換学習のためのfMRIデータのペア配列に基づく自己教師付き事前学習
• Authors: Sean Paulsen, Michael Casey
• Abstract要約: 機能的磁気共鳴イメージング(fMRI)データにおけるトランスフォーマーのための自己教師付き事前学習フレームワークを提案する。 まず,音楽聴取時の人間の聴覚野の時間的・空間的ダイナミクスの一般的な理解をモデルに教える。 第二に、訓練済みのモデルを微調整し、教師付きfMRI分類タスクで新たなモデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we introduce a self-supervised pretraining framework for transformers on functional Magnetic Resonance Imaging (fMRI) data. First, we pretrain our architecture on two self-supervised tasks simultaneously to teach the model a general understanding of the temporal and spatial dynamics of human auditory cortex during music listening. Our pretraining results are the first to suggest a synergistic effect of multitask training on fMRI data. Second, we finetune the pretrained models and train additional fresh models on a supervised fMRI classification task. We observe significantly improved accuracy on held-out runs with the finetuned models, which demonstrates the ability of our pretraining tasks to facilitate transfer learning. This work contributes to the growing body of literature on transformer architectures for pretraining and transfer learning with fMRI data, and serves as a proof of concept for our pretraining tasks and multitask pretraining on fMRI data.
• Abstract（参考訳）: 本研究では,機能的磁気共鳴イメージング(fMRI)データに基づくトランスフォーマーのための自己教師付き事前学習フレームワークを提案する。 まず,音楽聴取時の聴覚野の時間的・空間的動態をモデルに理解させるために,2つの自己教師付き課題を同時に事前学習する。 予備訓練の結果は,fMRIデータに対するマルチタスクトレーニングの相乗効果を初めて示唆したものである。 第二に、訓練済みのモデルを微調整し、教師付きfMRI分類タスクで新たなモデルを訓練する。 我々は,微調整モデルを用いたホールドアウト実行の精度が大幅に向上するのを観察し,転送学習を容易にするための事前学習タスクの能力を示す。 本研究は,fMRIデータを用いた事前学習と伝達学習のためのトランスフォーマーアーキテクチャに関する文献の増大に寄与し,fMRIデータに基づく事前学習とマルチタスク事前学習の概念実証の役割を果たしている。

関連論文リスト

• Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection [3.665816629105171]
  自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、様々な症状や障害の程度を包含する神経発達障害である。 我々は,関数接続を計算せずに時系列fMRIデータを直接解析するトランスフォーマーベースの自己教師型フレームワークを開発した。 ランダムにROIをマスキングすると、トレーニング前のステップでランダムにマスキングする時間ポイントよりも、モデル性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-18T20:29:23Z)
• Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model [15.330413605539542]
  Scaffold Prompt Tuning (ScaPT)は、大規模な機能的磁気共鳴画像(fMRI)を下流タスクに適用するための新しいプロンプトベースのフレームワークである。 パラメータ効率が高く、微調整に比べて性能が向上し、プロンプトチューニングのベースラインも向上した。 ScaPTは、神経変性疾患の診断/予後と性格特性予測において、微調整とマルチタスクに基づく即時チューニングに優れる。
  論文  参考訳（メタデータ） (2024-08-20T06:08:37Z)
• Uncovering cognitive taskonomy through transfer learning in masked autoencoder-based fMRI reconstruction [6.3348067441225915]
  機能的磁気共鳴画像(fMRI)データを再構成するために,マスク付きオートエンコーダ(MAE)モデルを用いる。 本研究は,maEモデルを用いたfMRI再構成により,潜在表現の発見が可能であることを示唆する。
  論文  参考訳（メタデータ） (2024-05-24T09:29:16Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data [0.0]
  機能的磁気共鳴イメージング(fMRI)データを用いたトランスフォーマーのシーケンシャルトランスフォーメーション学習フレームワークを提案する。 第1フェーズでは、Next Thought Prediction上でスタック化されたエンコーダ変換アーキテクチャを事前訓練する。 第2フェーズでは、同じ音色を聴きながら、fMRIデータの2つのシーケンスが記録されたかどうかを予測する教師付きタスクにおいて、モデルを微調整し、新たなモデルを訓練する。
  論文  参考訳（メタデータ） (2023-05-22T16:58:26Z)
• fMRI Neurofeedback Learning Patterns are Predictive of Personal and Clinical Traits [62.997667081978825]
  機能的MRI(fMRI)による自律神経運動課題における学習経過の個人的シグネチャを得る。 署名は、第1セッションで同様のfMRI由来の脳の状態が与えられた後、第2セッションで扁桃体の活動を予測することに基づいている。
  論文  参考訳（メタデータ） (2021-12-21T06:52:48Z)
• Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks [69.85819388753579]
  TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。 自己教師付きトレーニングは、fMRIスキャンのコレクションに適用され、モデルが3Dボリュームデータの再構成のために訓練される。 その結果、年齢や性別の予測、統合失調症認知など、さまざまなfMRIタスクにおける最先端のパフォーマンスが示された。
  論文  参考訳（メタデータ） (2021-12-10T18:04:26Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。