論文の概要: Prefix-Tuning: Optimizing Continuous Prompts for Generation

• arxiv url: http://arxiv.org/abs/2101.00190v1
• Date: Fri, 1 Jan 2021 08:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 11:10:54.856468
• Title: Prefix-Tuning: Optimizing Continuous Prompts for Generation
• Title（参考訳）: プレフィックスチューニング: 生成のための継続的プロンプトの最適化
• Authors: Xiang Lisa Li and Percy Liang
• Abstract要約: 微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 85.6357778621526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning is the de facto way to leverage large pretrained language models to perform downstream tasks. However, it modifies all the language model parameters and therefore necessitates storing a full copy for each task. In this paper, we propose prefix-tuning, a lightweight alternative to fine-tuning for natural language generation tasks, which keeps language model parameters frozen, but optimizes a small continuous task-specific vector (called the prefix). Prefix-tuning draws inspiration from prompting, allowing subsequent tokens to attend to this prefix as if it were "virtual tokens". We apply prefix-tuning to GPT-2 for table-to-text generation and to BART for summarization. We find that by learning only 0.1\% of the parameters, prefix-tuning obtains comparable performance in the full data setting, outperforms fine-tuning in low-data settings, and extrapolates better to examples with topics unseen during training.
• Abstract（参考訳）: 微調整は、ダウンストリームタスクを実行するために、大きな事前学習された言語モデルを活用するためのデファクトな方法である。 しかし、全ての言語モデルパラメータを変更するため、各タスクに完全なコピーを格納する必要がある。 本稿では,自然言語生成タスクの微調整の軽量な代替として,言語モデルパラメータの凍結を保ちながら,連続的なタスク固有ベクトル(プレフィックスと呼ばれる)を最適化するプレフィックスチューニングを提案する。 Prefix-tuningはプロンプトからインスピレーションを得て、後続のトークンが"仮想トークン"のようにこの接頭辞に出席できるようにする。 表-テキスト生成にはGPT-2、要約にはBARTにプレフィックスチューニングを適用する。 パラメータの0.1\%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを獲得し、低データ設定で微調整性能を上回り、トレーニング中に見つからないトピックを例に外挿する。

関連論文リスト

• Towards Infinite-Long Prefix in Transformer [18.24137806007111]
  本研究では,全パラメータの微調整性能に適合するプロンプト法と文脈に基づく微調整法について検討する。 無限長のプレフィックスではなく、トレーニング可能なパラメータをいくつか導入し、微調整するだけでよいアルゴリズムを実装している。 提案手法は, フルパラメータ細調整, P-Tuning V2, LoRA などの既存手法と比較して, 優れた性能, 競争性を実現している。
  論文  参考訳（メタデータ） (2024-06-20T06:56:35Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning [32.84435258519842]
  ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-24T14:51:01Z)
• Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning [53.72897232951918]
  インデューサチューニングはプレフィックスチューニングとファインチューニングのパフォーマンスギャップを埋めることができることを示す。 そこで本研究では,アクセプションチューニングにおける残形を活用しつつ,プレフィックスチューニングとして正確なメカニズムを共有する,新しいプレフィックスチューニング-textitinducer-tuningを提案する。
  論文  参考訳（メタデータ） (2022-10-26T04:39:42Z)
• PALT: Parameter-Lite Transfer of Language Models for Knowledge Graph Completion [108.8941541255567]
  本稿では,知識グラフ(KG)完成のための事前学習言語モデル(LM)のパラメータ・ライト変換学習手法を提案する。 全てのLMパラメータを微調整する代わりに、元のLMパラメータを固定しながら、いくつかの新しいパラメータを調整します。 本研究は,マイクロチューニングよりもはるかに少ないパラメータをチューニングすることにより,ほとんどのタスクに非自明に伝達し,従来の最先端手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-10-25T02:22:29Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Unfreeze with Care: Space-Efficient Fine-Tuning of Semantic Parsing Models [5.893781742558463]
  本研究は2つの有望な手法であるプレフィックスチューニングとバイアス長期チューニングについて,特に意味解析について検討する。 2つの異なるセマンティック解析データセットで比較し、また、ショット数と従来のデータ設定の両方で、フルおよび部分的な微調整と比較します。 プレフィックスチューニングはセマンティック解析タスクを棚から取り出すのに役立ちませんが、特別なトークン埋め込みを追加して修正します。
  論文  参考訳（メタデータ） (2022-03-05T04:30:03Z)
• Discourse-Aware Prompt Design for Text Generation [13.835916386769474]
  そこで本研究では, 簡易かつ効率的な手法により, プロンプトベースの条件付きテキスト生成を改善することができることを示す。 まず、人文テキストの高レベルな談話構造を、プレフィックスパラメータのテクスチャ階層的ブロッキングでモデル化できることを示す。 第2に,ネットワークの各レイヤにおけるプレフィックスパラメータのテキスト分割間隔を導入し,ソフトマックス関数のスパース変換を学習することで,スパースプレフィックスチューニングを提案する。
  論文  参考訳（メタデータ） (2021-12-10T18:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。