論文の概要: PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer

• arxiv url: http://arxiv.org/abs/2305.02423v1
• Date: Wed, 3 May 2023 20:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 17:56:01.537396
• Title: PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer
• Title（参考訳）: PTP:摂動型正規化器によるプロンプトチューニングの安定性と性能向上
• Authors: Lichang Chen, Heng Huang, Minhao Cheng
• Abstract要約: 損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
• 参考スコア（独自算出の注目度）: 94.23904400441957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies show that prompt tuning can better leverage the power of large language models than fine-tuning on downstream natural language understanding tasks. However, the existing prompt tuning methods have training instability issues, as the variance of scores under different random seeds is quite large. To address this critical problem, we first investigate and find that the loss landscape of vanilla prompt tuning is precipitous when it is visualized, where a slight change of input data can cause a big fluctuation in the loss landscape. This is an essential factor that leads to the instability of prompt tuning. Based on this observation, we introduce perturbation-based regularizers, which can smooth the loss landscape, into prompt tuning. We propose a new algorithm, called Prompt Tuning with Perturbation-based regularizer~(PTP), which can not only alleviate training instability dramatically but also boost the performance of prompt tuning. We design two kinds of perturbation-based regularizers, including random-noise-based and adversarial-based. In particular, our proposed perturbations are flexible on both text space and embedding space. Extensive experiments show the effectiveness of our proposed methods in stabilizing the training. Our new algorithms improve the state-of-the-art prompt tuning methods by 1.94\% and 2.34\% on SuperGLUE and FewGLUE benchmarks, respectively.
• Abstract（参考訳）: 最近の研究では、下流の自然言語理解タスクを微調整するよりも、プロンプトチューニングが大きな言語モデルのパワーをうまく活用できることが示されている。 しかし,既存のプロンプトチューニング手法では,無作為種子の違いによるスコアのばらつきが極めて大きいため,トレーニングの不安定性が問題となる。 この問題に対処するため,我々はまず,入力データのわずかな変化がロスランドスケープに大きな変動を引き起こす可能性がある場合に,バニラプロンプトチューニングの損失ランドスケープが優先的であることを調査・発見する。 これは、プロンプトチューニングの不安定性につながる重要な要素である。 この観測に基づいて、損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 本稿では, 摂動型正規化アルゴリズムであるPrompt Tuning with Perturbation-based regularizer~(PTP)を提案する。 我々は2種類の摂動に基づく正規化器を設計した。 特に,提案する摂動はテキスト空間と埋め込み空間の両方において柔軟である。 広範な実験により,提案手法の有効性が示された。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ 1.94 % と 2.34 % の改善を行った。

関連論文リスト

• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Embedded Prompt Tuning: Towards Enhanced Calibration of Pretrained Models for Medical Images [18.094731760514264]
  医用画像分類タスクに基礎モデルを適用する際の微調整手法の有効性について検討する。 拡張チャネルにプロンプトトークンを埋め込む組込みプロンプトチューニング(EPT)手法を提案する。 EPTは、数ショットの医用画像分類タスクにおいて、いくつかの最先端の微調整方法よりも顕著に優れている。
  論文  参考訳（メタデータ） (2024-07-01T06:35:53Z)
• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• On Controller Tuning with Time-Varying Bayesian Optimization [74.57758188038375]
  制御対象とその変更に関する適切な事前知識を用いて、時間変化最適化(TVBO)を用いて、変更環境におけるコントローラのオンラインチューニングを行う。 本研究では,不確実性注入(UI)を用いたTVBO戦略を提案する。 我々のモデルはTVBOの最先端手法よりも優れており、後悔の軽減と不安定なパラメータ構成の低減を実現している。
  論文  参考訳（メタデータ） (2022-07-22T14:54:13Z)
• STT: Soft Template Tuning for Few-Shot Adaptation [72.46535261444151]
  我々は、Soft Template Tuning (STT)と呼ばれる新しいプロンプトチューニングフレームワークを提案する。 STTは手動と自動プロンプトを組み合わせて、下流の分類タスクをマスキング言語モデリングタスクとして扱う。 さらに、感情分類タスクにおいて、時間とリソースを消費する微調整方法よりも優れています。
  論文  参考訳（メタデータ） (2022-07-18T07:07:22Z)
• Latency Adjustable Transformer Encoder for Language Understanding [0.8287206589886879]
  本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。 提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。 提案手法は,BERT_base と GPT-2 の推論遅延を最大4.8倍,3.72倍に改善し,0.75% の精度低下と平均パープレキシティが可能である。
  論文  参考訳（メタデータ） (2022-01-10T13:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。