論文の概要: FPT: Improving Prompt Tuning Efficiency via Progressive Training

• arxiv url: http://arxiv.org/abs/2211.06840v1
• Date: Sun, 13 Nov 2022 08:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 15:50:47.291190
• Title: FPT: Improving Prompt Tuning Efficiency via Progressive Training
• Title（参考訳）: FPT:プログレッシブトレーニングによるプロンプトチューニング効率の向上
• Authors: Yufei Huang, Yujia Qin, Huadong Wang, Yichun Yin, Maosong Sun, Zhiyuan Liu and Qun Liu
• Abstract要約: 本稿では,即時チューニングの訓練効率を向上させるために,Fast Prompt Tuningを提案する。 我々は、FPTが30%以上のトレーニング計算を節約し、同等のパフォーマンスを実現することを示した。
• 参考スコア（独自算出の注目度）: 84.25195519945215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, prompt tuning (PT) has gained increasing attention as a parameter-efficient way of tuning pre-trained language models (PLMs). Despite extensively reducing the number of tunable parameters and achieving satisfying performance, PT is training-inefficient due to its slow convergence. To improve PT's training efficiency, we first make some novel observations about the prompt transferability of "partial PLMs", which are defined by compressing a PLM in depth or width. We observe that the soft prompts learned by different partial PLMs of various sizes are similar in the parameter space, implying that these soft prompts could potentially be transferred among partial PLMs. Inspired by these observations, we propose Fast Prompt Tuning (FPT), which starts by conducting PT using a small-scale partial PLM, and then progressively expands its depth and width until the full-model size. After each expansion, we recycle the previously learned soft prompts as initialization for the enlarged partial PLM and then proceed PT. We demonstrate the feasibility of FPT on 5 tasks and show that FPT could save over 30% training computations while achieving comparable performance.
• Abstract（参考訳）: 近年,事前学習言語モデル(PLM)のパラメータ効率向上手法として,プロンプトチューニング(PT)が注目されている。 調整可能なパラメータの数を大幅に減らし、満足な性能を達成するにもかかわらず、PTは、その緩やかな収束のためにトレーニング非効率である。 PTのトレーニング効率を向上させるために,まず,PLMの深度や幅を圧縮して定義した「部分的PLM」の迅速な転送性について,新しい観察を行った。 パラメータ空間の異なる部分的 PLM によって学習されたソフトプロンプトは,パラメータ空間において類似しており,これらのソフトプロンプトは部分的 PLM 間で伝達可能であることを示唆している。 これらの観測から着想を得たFast Prompt Tuning (FPT) は,小型の部分的なPLMを用いてPTを行い,その深さと幅をフルモデルサイズまで徐々に拡大する。 各拡張後に、拡張部分PLMの初期化として学習したソフトプロンプトをリサイクルし、PTを進める。 5 つのタスクで FPT が実現可能であることを実証し,FPT が 30% 以上のトレーニング計算を節約できることを示す。

関連論文リスト

• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
  大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。 下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。 本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
  論文  参考訳（メタデータ） (2024-10-29T07:55:50Z)
• APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference [63.52244442498831]
  大規模言語モデル(LM)による微調整と推論は一般的に高価であることが知られている。 LMのパラメータを適応的にプーンし調整するAPTを導入する。 APTは、LMの微調整を最大8倍高速化し、LMのメモリトレーニングのフットプリントを最大70%削減する。
  論文  参考訳（メタデータ） (2024-01-22T18:39:40Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
  プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:23:52Z)
• On Transferability of Prompt Tuning for Natural Language Understanding [63.29235426932978]
  タスクやモデル間でのソフトプロンプトの転送可能性について検討する。 訓練されたソフトプロンプトは、同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。 以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-12T13:39:28Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。