論文の概要: Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
- arxiv url: http://arxiv.org/abs/2405.11464v2
- Date: Mon, 1 Jul 2024 14:27:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 14:00:18.563467
- Title: Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
- Title（参考訳）: マルチスペース投影とプロンプト融合による効率的なプロンプトチューニング
- Authors: Pengxiang Lan, Enneng Yang, Yuting Liu, Guibing Guo, Linying Jiang, Jianzhe Zhao, Xingwei Wang,
- Abstract要約: プロンプトチューニングは、大規模パラメータを再訓練することなく、事前訓練された言語モデルを微調整する有望な方法である。
既存の方法は精度と効率のバランスをとるのが難しい。
より長い(厳密な)ソフトプロンプトは、一般的には、より(より悪い)正確さをもたらすが、より(少ない)トレーニング時間に費やされる。
マルチスペースプロジェクションとプロンプト融合による効率的なプロンプトチューニング法(EPT)を提案する。
- 参考スコア（独自算出の注目度）: 9.55994486328914
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt tuning is a promising method to fine-tune a pre-trained language model without retraining its large-scale parameters. Instead, it attaches a soft prompt to the input text, whereby downstream tasks can be well adapted by merely learning the embeddings of prompt tokens. Nevertheless, existing methods still suffer from two challenges: (i) they are hard to balance accuracy and efficiency. A longer (shorter) soft prompt generally leads to a better(worse) accuracy but at the cost of more (less) training time. (ii)The performance may not be consistent when adapting to different downstream tasks. We attribute it to the same embedding space but responsible for different requirements of downstream tasks. To address these issues, we propose an Efficient Prompt Tuning method (EPT) by multi-space projection and prompt fusion. Specifically, it decomposes a given soft prompt into a shorter prompt and two low-rank matrices, significantly reducing the training time. Accuracy is also enhanced by leveraging low-rank matrices and the short prompt as additional knowledge sources to enrich the semantics of the original short prompt. In addition, we project the soft prompt into multiple subspaces to improve the performance consistency, and then adaptively learn the combination weights of different spaces through a gating network. Experiments on 13 natural language processing downstream tasks show that our method significantly and consistently outperforms 11 comparison methods with the relative percentage of improvements up to 12.9%, and training time decreased by 14%.
- Abstract（参考訳）: プロンプトチューニングは、大規模パラメータを再訓練することなく、事前訓練された言語モデルを微調整する有望な方法である。
代わりに、入力テキストにソフトプロンプトを付加することで、単にプロンプトトークンの埋め込みを学習することで、下流タスクをうまく適応させることができる。
それでも、既存の方法は2つの課題に苦しむ。
(i)正確性と効率性のバランスが難しいこと。
より長い(厳密な)ソフトプロンプトは、一般的には、より(より悪い)正確さをもたらすが、より(少ない)トレーニング時間に費やされる。
(ii) 異なる下流タスクに適応する場合、パフォーマンスは一貫性がない可能性がある。
私たちは、同じ埋め込みスペースに特化していますが、下流タスクの異なる要求に責任があります。
これらの問題に対処するため,多空間投影と即時融合によるEPT(Efficient Prompt Tuning Method)を提案する。
具体的には、与えられたソフトプロンプトを短いプロンプトと2つの低ランク行列に分解し、トレーニング時間を著しく短縮する。
また、低ランク行列とショートプロンプトを付加的な知識源として活用して、元のショートプロンプトのセマンティクスを強化することで、精度も向上する。
さらに,ソフトプロンプトを複数のサブスペースに投影し,性能の整合性を向上させるとともに,ゲーティングネットワークを通じて異なる空間の重み付けを適応的に学習する。
13の自然言語処理ダウンストリームタスクに対する実験の結果、我々の手法は11つの比較手法を12.9%の改善率で比較し、トレーニング時間は14%減少した。
関連論文リスト
- StablePT: Towards Stable Prompting for Few-shot Learning via Input Separation [14.341806875791288]
sysnameは最先端の手法を6.97%精度で上回り、標準偏差を平均1.92倍に下げる。
テストは、さまざまなタスクをカバーする8つのデータセットの堅牢性と安定性を強調している。
論文 参考訳（メタデータ） (2024-04-30T08:01:49Z) - Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
本研究では,プロンプトとパッチトークンの相互関係について検討した。
プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。
本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
論文 参考訳（メタデータ） (2024-02-04T07:49:02Z) - PRE: Vision-Language Prompt Learning with Reparameterization Encoder [24.855142164168605]
CLIPのような訓練済みの大規模な視覚言語モデルは、下流タスクへのゼロショット転送可能性に大きな可能性を証明している。
最適な性能を得るためには、下流画像分布とテキストクラス記述との整合性を改善するために、手動によるプロンプトの選択が必要である。
非自明なプロンプトエンジニアリングを避けるため、最近の作業コンテキスト最適化(CoOp)では、学習可能なテキストトークンを使用して視覚領域にプロンプト学習という概念を導入した。
論文 参考訳（メタデータ） (2023-09-14T14:48:01Z) - InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural
Language Understanding [51.48361798508375]
我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。
本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-06-08T04:31:48Z) - Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
マルチタスク・プロンプト・チューニング(MPT)を提案する。
MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。
次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
論文 参考訳（メタデータ） (2023-03-06T03:25:59Z) - Continued Pretraining for Better Zero- and Few-Shot Promptability [44.381944544918014]
マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。
一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
論文 参考訳（メタデータ） (2022-10-19T02:41:51Z) - Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。
MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。
我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2022-10-14T06:43:42Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。