論文の概要: Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization

• arxiv url: http://arxiv.org/abs/2305.03937v1
• Date: Sat, 6 May 2023 05:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 18:36:40.325559
• Title: Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization
• Title（参考訳）: Residual Prompt Tuning: Residual ReparameterizationによるPrompt Tuningの改善
• Authors: Anastasia Razdaibiedina, Yuning Mao, Rui Hou, Madian Khabsa, Mike Lewis, Jimmy Ba, Amjad Almahairi
• Abstract要約: Residual Prompt Tuningは,プロンプトチューニングの性能と安定性を大幅に向上させる,シンプルで効率的な手法である。 提案手法は,T5-Baseによるプロンプトチューニングよりも+7ポイント向上し,パフォーマンスを損なうことなく,プロンプト長を10倍短縮できることを示す。
• 参考スコア（独自算出の注目度）: 57.379285443780894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt tuning is one of the successful approaches for parameter-efficient tuning of pre-trained language models. Despite being arguably the most parameter-efficient (tuned soft prompts constitute <0.1% of total parameters), it typically performs worse than other efficient tuning methods and is quite sensitive to hyper-parameters. In this work, we introduce Residual Prompt Tuning - a simple and efficient method that significantly improves the performance and stability of prompt tuning. We propose to reparameterize soft prompt embeddings using a shallow network with a residual connection. Our experiments show that Residual Prompt Tuning significantly outperforms prompt tuning on SuperGLUE benchmark. Notably, our method reaches +7 points improvement over prompt tuning with T5-Base and allows to reduce the prompt length by 10x without hurting performance. In addition, we show that our approach is robust to the choice of learning rate and prompt initialization, and is effective in few-shot settings.
• Abstract（参考訳）: プロンプトチューニングは、事前訓練された言語モデルのパラメータ効率チューニングにおける成功例の1つである。 最もパラメータ効率が高い(チューニングされたソフトプロンプトは総パラメータの0.1%を占める)にもかかわらず、通常は他の効率的なチューニング方法よりも悪く、ハイパーパラメータに非常に敏感である。 本研究では,逐次チューニングの性能と安定性を大幅に向上させるシンプルで効率的な手法であるResidual Prompt Tuningを紹介する。 残差接続を有する浅いネットワークを用いてソフトプロンプト埋め込みを再パラメータ化することを提案する。 実験の結果,Residual Prompt Tuning は SuperGLUE ベンチマークの即時チューニングよりも優れていた。 特に,提案手法はt5ベースでのプロンプトチューニングよりも+7点向上し,性能を損なうことなくプロンプト長を10倍短縮できる。 さらに,本手法は学習率の選択と初期化の促進に頑健であり,数ショット設定で有効であることを示す。

関連論文リスト

• LoPT: Low-Rank Prompt Tuning for Parameter Efficient Language Models [2.380819994407948]
  プロンプトチューニングはモデルファインチューニングよりもはるかにパラメータ効率が高い。 高速なプロンプト最適化を実現するプロンプトの低ランクモデルであるローランクプロンプトチューニング(LoPT)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T19:02:41Z)
• SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings [0.7349727826230863]
  事前訓練された言語モデルのパラメータ効率チューニングに有効な手法として,ソフトプロンプトチューニング技術が注目を集めている。 ソフトプロンプトの学習を改善するために,複数の事前学習語彙の埋め込みを重畳した新しい再パラメータ化手法であるSuperPos-Promptを導入する。 我々の実験は、Residual Promptチューニングに対するSuperPos-Promptの優位性を常に強調しており、平均スコアはT5-Smallで$6.4$、T5-Baseで$5.0$である。 驚くべきことに、SuperPos-Promptは時々、完全な微調整方法よりも優れています。
  論文  参考訳（メタデータ） (2024-06-07T22:18:49Z)
• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
  プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:23:52Z)
• Structured Prompt Tuning [83.71253868369999]
  入力に調整可能な埋め込み列を前もって予測するのではなく、ハイパーネットワークを通してソフトプロンプト埋め込みを生成する。 我々のアプローチは標準のプロンプトチューニングを仮定し、モデル設計の柔軟性を高め、シングルタスクとマルチタスクの両方のトレーニング設定に適用できる。
  論文  参考訳（メタデータ） (2022-05-24T18:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。