Fugu-MT 論文翻訳(概要): Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks

論文の概要: Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks

arxiv url: http://arxiv.org/abs/2112.05761v1
Date: Fri, 10 Dec 2021 18:04:26 GMT
ステータス: 処理完了
システム内更新日: 2021-12-14 16:28:10.425354
Title: Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks
Title（参考訳）: fmri予測タスクのための事前訓練と微調整トランス
Authors: Itzik Malkiel, Gony Rosenman, Lior Wolf, Talma Hendler
Abstract要約: TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。自己教師付きトレーニングは、fMRIスキャンのコレクションに適用され、モデルが3Dボリュームデータの再構成のために訓練される。その結果、年齢や性別の予測、統合失調症認知など、さまざまなfMRIタスクにおける最先端のパフォーマンスが示された。
参考スコア（独自算出の注目度）: 69.85819388753579
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present the TFF Transformer framework for the analysis of functional Magnetic Resonance Imaging (fMRI) data. TFF employs a transformer-based architecture and a two-phase training approach. First, self-supervised training is applied to a collection of fMRI scans, where the model is trained for the reconstruction of 3D volume data. Second, the pre-trained model is fine-tuned on specific tasks, utilizing ground truth labels. Our results show state-of-the-art performance on a variety of fMRI tasks, including age and gender prediction, as well as schizophrenia recognition.
Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)データ解析のためのTFFトランスフォーマフレームワークを提案する。 TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。まず、FMRIスキャンのコレクションに自己教師付きトレーニングを適用し、3次元ボリュームデータの再構成のためにモデルを訓練する。第二に、事前訓練されたモデルは、基礎的真理ラベルを利用して、特定のタスクに微調整される。以上の結果から, 年齢や性別の予測, 統合失調症認知など, さまざまなfMRI課題における最先端の成績が示された。

関連論文リスト

Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection [3.665816629105171]
自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、様々な症状や障害の程度を包含する神経発達障害である。我々は,関数接続を計算せずに時系列fMRIデータを直接解析するトランスフォーマーベースの自己教師型フレームワークを開発した。ランダムにROIをマスキングすると、トレーニング前のステップでランダムにマスキングする時間ポイントよりも、モデル性能が向上することを示す。
論文参考訳（メタデータ） (2024-09-18T20:29:23Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文参考訳（メタデータ） (2024-03-27T02:42:52Z)
fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文参考訳（メタデータ） (2023-11-01T07:24:22Z)
Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文参考訳（メタデータ） (2023-06-09T03:02:36Z)
Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data [0.0]
機能的磁気共鳴イメージング(fMRI)データを用いたトランスフォーマーのシーケンシャルトランスフォーメーション学習フレームワークを提案する。第1フェーズでは、Next Thought Prediction上でスタック化されたエンコーダ変換アーキテクチャを事前訓練する。第2フェーズでは、同じ音色を聴きながら、fMRIデータの2つのシーケンスが記録されたかどうかを予測する教師付きタスクにおいて、モデルを微調整し、新たなモデルを訓練する。
論文参考訳（メタデータ） (2023-05-22T16:58:26Z)
Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks [0.0]
機能的磁気共鳴イメージング(fMRI)データにおけるトランスフォーマーのための自己教師付き事前学習フレームワークを提案する。まず,音楽聴取時の人間の聴覚野の時間的・空間的ダイナミクスの一般的な理解をモデルに教える。第二に、訓練済みのモデルを微調整し、教師付きfMRI分類タスクで新たなモデルを訓練する。
論文参考訳（メタデータ） (2023-05-15T22:53:12Z)
Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文参考訳（メタデータ） (2022-09-19T09:43:19Z)
Medical Transformer: Universal Brain Encoder for 3D MRI Analysis [1.6287500717172143]
既存の3Dベースの手法は、トレーニング済みのモデルを下流のタスクに転送している。彼らは3D医療イメージングのためのモデルを訓練するために大量のパラメータを要求します。本稿では,2次元画像スライス形式で3次元容積画像を効果的にモデル化する,メディカルトランスフォーマーと呼ばれる新しい伝達学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-04-28T08:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。