論文の概要: LoPT: Low-Rank Prompt Tuning for Parameter Efficient Language Models

• arxiv url: http://arxiv.org/abs/2406.19486v1
• Date: Thu, 27 Jun 2024 19:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 18:41:35.459758
• Title: LoPT: Low-Rank Prompt Tuning for Parameter Efficient Language Models
• Title（参考訳）: LoPT:パラメータ効率の良い言語モデルのための低ランクプロンプトチューニング
• Authors: Shouchang Guo, Sonam Damani, Keng-hao Chang,
• Abstract要約: プロンプトチューニングはモデルファインチューニングよりもはるかにパラメータ効率が高い。 高速なプロンプト最適化を実現するプロンプトの低ランクモデルであるローランクプロンプトチューニング(LoPT)を提案する。
• 参考スコア（独自算出の注目度）: 2.380819994407948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In prompt tuning, a prefix or suffix text is added to the prompt, and the embeddings (soft prompts) or token indices (hard prompts) of the prefix/suffix are optimized to gain more control over language models for specific tasks. This approach eliminates the need for hand-crafted prompt engineering or explicit model fine-tuning. Prompt tuning is significantly more parameter-efficient than model fine-tuning, as it involves optimizing partial inputs of language models to produce desired outputs. In this work, we aim to further reduce the amount of trainable parameters required for a language model to perform well on specific tasks. We propose Low-rank Prompt Tuning (LoPT), a low-rank model for prompts that achieves efficient prompt optimization. The proposed method demonstrates similar outcomes to full parameter prompt tuning while reducing the number of trainable parameters by a factor of 5. It also provides promising results compared to the state-of-the-art methods that would require 10 to 20 times more parameters.
• Abstract（参考訳）: プロンプトチューニングでは、プリフィックスまたは接尾辞テキストがプロンプトに追加され、プレフィックス/接尾辞の埋め込み(ソフトプロンプト)またはトークンインデックス(ハードプロンプト)が最適化され、特定のタスクの言語モデルをより制御できるようになる。 このアプローチは手作りのプロンプトエンジニアリングや明示的なモデル微調整を必要としない。 プロンプトチューニングは、所望の出力を生成するために言語モデルの部分的な入力を最適化するので、モデルファインチューニングよりもはるかにパラメータ効率が高い。 本研究では,言語モデルが特定のタスクでうまく機能するのに必要なトレーニング可能なパラメータの量を,さらに削減することを目的としている。 高速なプロンプト最適化を実現するプロンプトの低ランクモデルであるローランクプロンプトチューニング(LoPT)を提案する。 提案手法は、トレーニング可能なパラメータの数を5倍に減らしながら、フルパラメータのプロンプトチューニングに類似した結果を示す。 また、10倍から20倍のパラメータを必要とする最先端のメソッドと比較して有望な結果も提供する。

関連論文リスト

• Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning [0.08795040582681389]
  大規模言語モデル (LLMs) は近年,プロンプトを用いた特殊タスクにおいて大きな人気を集めている。 本稿では,ランダムトークンの代わりに有意な単語を用いたプロンプトおよびプレフィックスチューニングのためのセマンティック知識チューニング(SK-Tuning)を提案する。 実験結果から,SK-Tuningは,テキスト分類や理解などのタスクにおいて,より高速なトレーニング時間,少ないパラメータ,優れたパフォーマンスを示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-11T07:55:09Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization [57.379285443780894]
  Residual Prompt Tuningは,プロンプトチューニングの性能と安定性を大幅に向上させる,シンプルで効率的な手法である。 提案手法は,T5-Baseによるプロンプトチューニングよりも+7ポイント向上し,パフォーマンスを損なうことなく,プロンプト長を10倍短縮できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T05:35:14Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。