Fugu-MT 論文翻訳(概要): Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data

論文の概要: Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data

arxiv url: http://arxiv.org/abs/2305.13226v1
Date: Mon, 22 May 2023 16:58:26 GMT
ステータス: 処理完了
システム内更新日: 2023-05-23 14:19:13.158958
Title: Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data
Title（参考訳）: fMRIデータを用いた逐次移動学習によるハードと想像音の復号化
Authors: Sean Paulsen, Michael Casey
Abstract要約: 機能的磁気共鳴イメージング(fMRI)データを用いたトランスフォーマーのシーケンシャルトランスフォーメーション学習フレームワークを提案する。第1フェーズでは、Next Thought Prediction上でスタック化されたエンコーダ変換アーキテクチャを事前訓練する。第2フェーズでは、同じ音色を聴きながら、fMRIデータの2つのシーケンスが記録されたかどうかを予測する教師付きタスクにおいて、モデルを微調整し、新たなモデルを訓練する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a sequential transfer learning framework for transformers on functional Magnetic Resonance Imaging (fMRI) data and demonstrate its significant benefits for decoding musical timbre. In the first of two phases, we pre-train our stacked-encoder transformer architecture on Next Thought Prediction, a self-supervised task of predicting whether or not one sequence of fMRI data follows another. This phase imparts a general understanding of the temporal and spatial dynamics of neural activity, and can be applied to any fMRI dataset. In the second phase, we fine-tune the pre-trained models and train additional fresh models on the supervised task of predicting whether or not two sequences of fMRI data were recorded while listening to the same musical timbre. The fine-tuned models achieve significantly higher accuracy with shorter training times than the fresh models, demonstrating the efficacy of our framework for facilitating transfer learning on fMRI data. Additionally, our fine-tuning task achieves a level of classification granularity beyond standard methods. This work contributes to the growing literature on transformer architectures for sequential transfer learning on fMRI data, and provides evidence that our framework is an improvement over current methods for decoding timbre.
Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)データにおけるトランスフォーマーの逐次的伝達学習フレームワークを提案し,その利点を音楽の音色を復号する上で実証する。 2つのフェーズのうちの1つは、fMRIデータの1つのシーケンスが別のシーケンスに従うか否かを予測する自己教師タスクであるNext Thought Prediction上で、スタック化されたエンコーダ変換アーキテクチャを事前訓練する。このフェーズは、神経活動の時間的および空間的ダイナミクスの一般的な理解を与え、任意のfMRIデータセットに適用することができる。第2フェーズでは、事前学習したモデルに微調整を行い、同じ音色を聴きながらfMRIデータの2つのシーケンスが記録されたかどうかを予測する教師付きタスクで新たなモデルを訓練する。微調整モデルでは,fMRIデータの転送学習を支援するフレームワークの有効性を実証し,新モデルよりも訓練時間を短くすることで,精度が大幅に向上した。さらに,我々の微調整タスクは,標準手法以上の分類粒度を達成している。本研究は,fmriデータを用いた逐次転送学習のためのトランスフォーマーアーキテクチャに関する文献の発展に寄与し,現在の音色復号法よりも改良されたフレームワークであることを示す。

関連論文リスト

Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection [3.665816629105171]
自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、様々な症状や障害の程度を包含する神経発達障害である。我々は,関数接続を計算せずに時系列fMRIデータを直接解析するトランスフォーマーベースの自己教師型フレームワークを開発した。ランダムにROIをマスキングすると、トレーニング前のステップでランダムにマスキングする時間ポイントよりも、モデル性能が向上することを示す。
論文参考訳（メタデータ） (2024-09-18T20:29:23Z)
Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model [15.330413605539542]
Scaffold Prompt Tuning (ScaPT)は、大規模な機能的磁気共鳴画像(fMRI)を下流タスクに適用するための新しいプロンプトベースのフレームワークである。パラメータ効率が高く、微調整に比べて性能が向上し、プロンプトチューニングのベースラインも向上した。 ScaPTは、神経変性疾患の診断/予後と性格特性予測において、微調整とマルチタスクに基づく即時チューニングに優れる。
論文参考訳（メタデータ） (2024-08-20T06:08:37Z)
NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文参考訳（メタデータ） (2024-03-27T02:42:52Z)
Masked Audio Generation using a Single Non-Autoregressive Transformer [90.11646612273965]
MAGNeTは、複数のオーディオトークンストリーム上で直接動作するマスク付き生成シーケンスモデリング手法である。テキスト・トゥ・ミュージック・アンド・テキスト・トゥ・オーディオ・ジェネレーションのタスクにおけるMAGNeTの有効性を実証する。我々は、自己回帰と非自己回帰モデリングのトレードオフを指摘するとともに、MAGNeTを構成する各コンポーネントの重要性を強調した。
論文参考訳（メタデータ） (2024-01-09T14:29:39Z)
Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文参考訳（メタデータ） (2024-01-01T12:08:35Z)
Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks [0.0]
機能的磁気共鳴イメージング(fMRI)データにおけるトランスフォーマーのための自己教師付き事前学習フレームワークを提案する。まず,音楽聴取時の人間の聴覚野の時間的・空間的ダイナミクスの一般的な理解をモデルに教える。第二に、訓練済みのモデルを微調整し、教師付きfMRI分類タスクで新たなモデルを訓練する。
論文参考訳（メタデータ） (2023-05-15T22:53:12Z)
Data-driven modelling of brain activity using neural networks, Diffusion Maps, and the Koopman operator [0.0]
タスク依存型fMRIデータから脳活動の長期外ダイナミクスをモデル化するための機械学習手法を提案する。我々は拡散写像(DM)を用いて、創発的な高次元fMRI時系列が進化する低次元多様体をパラメータ化する変数の集合を発見する。組込み多様体上にFNN(Feedforward Neural Networks)とクープマン演算子(Koopman operator)という2つの手法を用いて、低次モデル(ROM)を構築する。
論文参考訳（メタデータ） (2023-04-24T09:08:12Z)
Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks [69.85819388753579]
TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。自己教師付きトレーニングは、fMRIスキャンのコレクションに適用され、モデルが3Dボリュームデータの再構成のために訓練される。その結果、年齢や性別の予測、統合失調症認知など、さまざまなfMRIタスクにおける最先端のパフォーマンスが示された。
論文参考訳（メタデータ） (2021-12-10T18:04:26Z)
Reference-based Magnetic Resonance Image Reconstruction Using Texture Transforme [86.6394254676369]
高速MRI再構成のための新しいテクスチャトランスフォーマーモジュール(TTM)を提案する。変換器のクエリやキーとしてアンダーサンプルのデータと参照データを定式化する。提案したTTMは、MRIの再構成手法に積み重ねることで、その性能をさらに向上させることができる。
論文参考訳（メタデータ） (2021-11-18T03:06:25Z)
PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。