論文の概要: Choice of PEFT Technique in Continual Learning: Prompt Tuning is Not All You Need
- arxiv url: http://arxiv.org/abs/2406.03216v1
- Date: Wed, 5 Jun 2024 12:53:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 18:30:28.128208
- Title: Choice of PEFT Technique in Continual Learning: Prompt Tuning is Not All You Need
- Title（参考訳）: 連続学習におけるPEFT手法の選択 - Prompt Tuningは必要なすべてではない
- Authors: Martin Wistuba, Prabhu Teja Sivaprasad, Lukas Balles, Giovanni Zappella,
- Abstract要約: PEFT法としてプロンプトチューニングを選択することで,CLシステム全体の性能が損なわれることがわかった。
我々は,Pmpt と S-Prompt の学習という,最先端の2つの連続学習手法において,LoRA による即時チューニングを置き換える。
- 参考スコア（独自算出の注目度）: 18.112632827740878
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent Continual Learning (CL) methods have combined pretrained Transformers with prompt tuning, a parameter-efficient fine-tuning (PEFT) technique. We argue that the choice of prompt tuning in prior works was an undefended and unablated decision, which has been uncritically adopted by subsequent research, but warrants further research to understand its implications. In this paper, we conduct this research and find that the choice of prompt tuning as a PEFT method hurts the overall performance of the CL system. To illustrate this, we replace prompt tuning with LoRA in two state-of-the-art continual learning methods: Learning to Prompt and S-Prompts. These variants consistently achieve higher accuracy across a wide range of domain-incremental and class-incremental benchmarks, while being competitive in inference speed. Our work highlights a crucial argument: unexamined choices can hinder progress in the field, and rigorous ablations, such as the PEFT method, are required to drive meaningful adoption of CL techniques in real-world applications.
- Abstract（参考訳）: 近年の継続学習 (CL) 法は, パラメータ効率の良い微細チューニング (PEFT) 技術として, 事前学習型トランスフォーマーとプロンプトチューニングを組み合わせたものである。
我々は,先行研究における即時チューニングの選択は未定かつ未定の判断であり,その後の研究で批判的に採用されているが,その意味を理解するためにさらなる研究を保証している。
本稿では,本研究を行ない,PEFT法としての即時チューニングの選択がCLシステム全体の性能を損なうことを明らかにする。
そこで本稿では,Pmpt と S-Prompt への学習という,最先端の連続学習手法を LoRA に置き換える。
これらの変種は、推論速度において競争力がありながら、広範囲のドメインインクリメンタルおよびクラスインクリメンタルベンチマークで常に高い精度を達成する。
我々の研究は重要な議論を浮き彫りにしている: 未検討の選択肢は分野の進歩を妨げる可能性があるし、PEFT法のような厳格な改善は、現実世界の応用においてCL技術の有意義な採用を促進するために必要である。
関連論文リスト
- Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。
本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-05T05:19:09Z) - SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。
過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。
提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
論文 参考訳（メタデータ） (2024-08-15T17:50:07Z) - Embedded Prompt Tuning: Towards Enhanced Calibration of Pretrained Models for Medical Images [18.094731760514264]
医用画像分類タスクに基礎モデルを適用する際の微調整手法の有効性について検討する。
拡張チャネルにプロンプトトークンを埋め込む組込みプロンプトチューニング(EPT)手法を提案する。
EPTは、数ショットの医用画像分類タスクにおいて、いくつかの最先端の微調整方法よりも顕著に優れている。
論文 参考訳（メタデータ） (2024-07-01T06:35:53Z) - Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models [63.11967672725459]
単純かつ軽量なPEFTベースラインによるP-RFCL手法の整合性を示す。
P-RFCL の手法が,単純で軽量な PEFT ベースラインでマッチング可能であることを示す。
論文 参考訳（メタデータ） (2024-06-13T17:57:10Z) - Prompt Customization for Continual Learning [57.017987355717935]
本稿では,継続的学習のためのプロンプト的アプローチを再構築し,プロンプト的カスタマイズ(PC)手法を提案する。
PCは主にプロンプト生成モジュール(PGM)とプロンプト変調モジュール(PMM)で構成される。
提案手法は,クラス,ドメイン,タスクに依存しないインクリメンタル学習タスクを含む3つの異なる設定に対して,4つのベンチマークデータセットを用いて評価する。
論文 参考訳（メタデータ） (2024-04-28T03:28:27Z) - On the Effectiveness of LayerNorm Tuning for Continual Learning in
Vision Transformers [47.77328392236625]
最新のリハーサルなし連続学習手法は、視覚変換器の特異性を利用してタスク固有のプロンプトを学習する。
そこで、まずタスク固有のパラメータを最適化し、次に推論時間の同じ選択手順で分類器を訓練する。
提案手法は, 計算コストを抑えながら, より優れた結果が得られるか, あるいは, 技術水準に匹敵する結果が得られる。
論文 参考訳（メタデータ） (2023-08-18T15:11:16Z) - Stepsize Learning for Policy Gradient Methods in Contextual Markov
Decision Processes [35.889129338603446]
ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。
彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。
メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
論文 参考訳（メタデータ） (2023-06-13T12:58:12Z) - PTP: Boosting Stability and Performance of Prompt Tuning with
Perturbation-Based Regularizer [94.23904400441957]
損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。
我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。
我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
論文 参考訳（メタデータ） (2023-05-03T20:30:51Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳（メタデータ） (2023-04-04T16:14:39Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。