論文の概要: Decomposed Prompt Tuning via Low-Rank Reparameterization

• arxiv url: http://arxiv.org/abs/2310.10094v1
• Date: Mon, 16 Oct 2023 05:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 16:07:19.307818
• Title: Decomposed Prompt Tuning via Low-Rank Reparameterization
• Title（参考訳）: 低ランクリパラメータ化によるプロンプト調整
• Authors: Yao Xiao, Lu Xu, Jiaxi Li, Wei Lu, and Xiaoli Li
• Abstract要約: ソフトプロンプトに低ランク行列を利用する新しい手法である分解プロンプトチューニングを提案する。 本手法は,有効性を保ちながら,トレーニング可能なパラメータの数を著しく削減する。
• 参考スコア（独自算出の注目度）: 16.744272655732857
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While prompt tuning approaches have achieved competitive performance with high efficiency, we observe that they invariably employ the same initialization process, wherein the soft prompt is either randomly initialized or derived from an existing embedding vocabulary. In contrast to these conventional methods, this study aims to investigate an alternative way to derive soft prompt. Our empirical studies show that the soft prompt typically exhibits a low intrinsic rank characteristic. With such observations, we propose decomposed prompt tuning, a novel approach that utilizes low-rank matrices to initialize the soft prompt. Through the low-rank reparameterization, our method significantly reduces the number of trainable parameters while maintaining effectiveness. Experimental results on the SuperGLUE benchmark in both high-resource and low-resource scenarios demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: プロンプトチューニング手法は高い効率で競争性能を達成したが,ソフトプロンプトがランダムに初期化されるか,あるいは既存の埋め込み語彙から導出されるような,同じ初期化プロセスが必ず採用されている。 本研究は,従来の手法とは対照的に,ソフトプロンプトを導出する代替手法を検討することを目的とする。 実験の結果,軟質プロンプトは典型的には低い固有ランクを示すことがわかった。 そこで本研究では,低ランク行列を用いたソフトプロンプトの初期化手法である分解プロンプトチューニングを提案する。 低ランク再パラメータ化により,実効性を維持しつつトレーニング可能なパラメータ数を大幅に削減する。 提案手法の有効性を実証するため,高リソースシナリオと低リソースシナリオの両方でSuperGLUEベンチマーク実験を行った。

関連論文リスト

• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Adaptive Fake Audio Detection with Low-Rank Model Squeezing [50.7916414913962]
  ファインタニングのような従来の手法は計算集約的であり、既知の偽音声タイプの知識を損なう危険性がある。 本稿では,新たに登場したニセモノ音声タイプに特化して,低ランク適応行列をトレーニングするコンセプトを紹介する。 当社のアプローチには,ストレージメモリ要件の削減やエラー率の低下など,いくつかのメリットがあります。
  論文  参考訳（メタデータ） (2023-06-08T06:06:42Z)
• Exploring Lottery Prompts for Pre-trained Language Models [46.66885465183664]
  インスタンスレベルのプロンプトとその一般化可能性について検討する。 いずれの場合も、ほとんどの場合、PLMから正しい予測を誘導する宝くじプロンプトがある。 一部の強力な宝くじプロンプトは、トレーニングセット全体に対して高いパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2023-05-31T02:17:04Z)
• Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization [57.379285443780894]
  Residual Prompt Tuningは,プロンプトチューニングの性能と安定性を大幅に向上させる,シンプルで効率的な手法である。 提案手法は,T5-Baseによるプロンプトチューニングよりも+7ポイント向上し,パフォーマンスを損なうことなく,プロンプト長を10倍短縮できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T05:35:14Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• Continued Pretraining for Better Zero- and Few-Shot Promptability [44.381944544918014]
  マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。 一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
  論文  参考訳（メタデータ） (2022-10-19T02:41:51Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。