論文の概要: Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model
- arxiv url: http://arxiv.org/abs/2408.10567v1
- Date: Tue, 20 Aug 2024 06:08:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 15:03:52.584750
- Title: Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model
- Title(参考訳): 脳のプロンプト:fMRI事前訓練モデルの効率的な適応のためのスキャフォールド・プロンプト・チューニング
- Authors: Zijian Dong, Yilei Wu, Zijiao Chen, Yichi Zhang, Yueming Jin, Juan Helen Zhou,
- Abstract要約: Scaffold Prompt Tuning (ScaPT)は、大規模な機能的磁気共鳴画像(fMRI)を下流タスクに適用するための新しいプロンプトベースのフレームワークである。
パラメータ効率が高く、微調整に比べて性能が向上し、プロンプトチューニングのベースラインも向上した。
ScaPTは、神経変性疾患の診断/予後と性格特性予測において、微調整とマルチタスクに基づく即時チューニングに優れる。
- 参考スコア(独自算出の注目度): 15.330413605539542
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Scaffold Prompt Tuning (ScaPT), a novel prompt-based framework for adapting large-scale functional magnetic resonance imaging (fMRI) pre-trained models to downstream tasks, with high parameter efficiency and improved performance compared to fine-tuning and baselines for prompt tuning. The full fine-tuning updates all pre-trained parameters, which may distort the learned feature space and lead to overfitting with limited training data which is common in fMRI fields. In contrast, we design a hierarchical prompt structure that transfers the knowledge learned from high-resource tasks to low-resource ones. This structure, equipped with a Deeply-conditioned Input-Prompt (DIP) mapping module, allows for efficient adaptation by updating only 2% of the trainable parameters. The framework enhances semantic interpretability through attention mechanisms between inputs and prompts, and it clusters prompts in the latent space in alignment with prior knowledge. Experiments on public resting state fMRI datasets reveal ScaPT outperforms fine-tuning and multitask-based prompt tuning in neurodegenerative diseases diagnosis/prognosis and personality trait prediction, even with fewer than 20 participants. It highlights ScaPT's efficiency in adapting pre-trained fMRI models to low-resource tasks.
- Abstract(参考訳): 我々は,大規模な機能的磁気共鳴画像(fMRI)を下流タスクに適用するための新しいプロンプトベースのフレームワークであるScaPT(Scffold Prompt Tuning)を紹介した。
これにより、学習した特徴空間を歪ませ、fMRIフィールドで一般的な限られたトレーニングデータで過度に適合する可能性がある。
対照的に、我々は高リソースタスクから低リソースタスクへ学習した知識を伝達する階層的なプロンプト構造を設計する。
この構造は、Deep-conditioned Input-Prompt (DIP) マッピングモジュールを備えており、トレーニング可能なパラメータのわずか2%を更新することで、効率的な適応を可能にする。
このフレームワークは、入力とプロンプト間の注意機構を通じて意味的解釈性を高め、事前の知識と一致して潜在空間内でのプロンプトをクラスタ化する。
公衆安静状態fMRIデータセットの実験では、20人未満の参加者であっても、神経変性疾患の診断/予後と性格特性予測において、ScaPTは微調整とマルチタスクベースの即時チューニングに優れていた。
これは、訓練済みのfMRIモデルを低リソースタスクに適応する際のScaPTの効率性を強調している。
関連論文リスト
- Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳(メタデータ) (2024-07-09T15:45:04Z) - Embedded Prompt Tuning: Towards Enhanced Calibration of Pretrained Models for Medical Images [18.094731760514264]
医用画像分類タスクに基礎モデルを適用する際の微調整手法の有効性について検討する。
拡張チャネルにプロンプトトークンを埋め込む組込みプロンプトチューニング(EPT)手法を提案する。
EPTは、数ショットの医用画像分類タスクにおいて、いくつかの最先端の微調整方法よりも顕著に優れている。
論文 参考訳(メタデータ) (2024-07-01T06:35:53Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳(メタデータ) (2024-03-27T02:42:52Z) - Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳(メタデータ) (2024-02-12T12:50:10Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model
within 0.5K Parameters [75.28536311904489]
そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。
11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
論文 参考訳(メタデータ) (2023-12-17T20:42:43Z) - Visual-Attribute Prompt Learning for Progressive Mild Cognitive
Impairment Prediction [27.261602207491244]
本稿では,マルチモーダルな特徴を高速な微調整で抽出・融合するトランスフォーマーネットワークを提案する。
詳しくは、まずAD診断タスクのプロンプトなしでVAP-Formerを事前訓練し、pMCI検出タスクのモデルをPTで微調整する。
次に、視覚的プロンプトのための新しいグローバルプロンプトトークンを提案し、マルチモーダル表現に対するグローバルガイダンスを提供する。
論文 参考訳(メタデータ) (2023-10-22T02:49:53Z) - SMRD: SURE-based Robust MRI Reconstruction with Diffusion Models [76.43625653814911]
拡散モデルは、高い試料品質のため、MRIの再生を加速するために人気を博している。
推論時に柔軟にフォワードモデルを組み込んだまま、効果的にリッチなデータプリエントとして機能することができる。
拡散モデル(SMRD)を用いたSUREに基づくMRI再構成を導入し,テスト時の堅牢性を向上する。
論文 参考訳(メタデータ) (2023-10-03T05:05:35Z) - GSMorph: Gradient Surgery for cine-MRI Cardiac Deformable Registration [62.41725951450803]
学習に基づく変形可能な登録は、フィールドの登録精度と滑らかさをトレードオフする重み付けされた目的関数に依存する。
我々は,GSMorphと呼ばれる勾配手術機構に基づく登録モデルを構築し,複数の損失に対してパラメータフリーな高バランスを実現する。
提案手法はモデルに依存しないため,パラメータの追加や推論の遅延を伴わずに,任意のディープ登録ネットワークにマージすることができる。
論文 参考訳(メタデータ) (2023-06-26T13:32:09Z) - Sequential Transfer Learning to Decode Heard and Imagined Timbre from
fMRI Data [0.0]
機能的磁気共鳴イメージング(fMRI)データを用いたトランスフォーマーのシーケンシャルトランスフォーメーション学習フレームワークを提案する。
第1フェーズでは、Next Thought Prediction上でスタック化されたエンコーダ変換アーキテクチャを事前訓練する。
第2フェーズでは、同じ音色を聴きながら、fMRIデータの2つのシーケンスが記録されたかどうかを予測する教師付きタスクにおいて、モデルを微調整し、新たなモデルを訓練する。
論文 参考訳(メタデータ) (2023-05-22T16:58:26Z) - Self-Supervised Pretraining on Paired Sequences of fMRI Data for
Transfer Learning to Brain Decoding Tasks [0.0]
機能的磁気共鳴イメージング(fMRI)データにおけるトランスフォーマーのための自己教師付き事前学習フレームワークを提案する。
まず,音楽聴取時の人間の聴覚野の時間的・空間的ダイナミクスの一般的な理解をモデルに教える。
第二に、訓練済みのモデルを微調整し、教師付きfMRI分類タスクで新たなモデルを訓練する。
論文 参考訳(メタデータ) (2023-05-15T22:53:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。