論文の概要: GPT Understands, Too

• arxiv url: http://arxiv.org/abs/2103.10385v2
• Date: Wed, 25 Oct 2023 06:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 07:26:38.479880
• Title: GPT Understands, Too
• Title（参考訳）: GPTも理解している。
• Authors: Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, Jie Tang
• Abstract要約: 本稿では,個別のプロンプトと組み合わせたトレーニング可能な連続プロンプト埋め込みを用いた新しいP-Tuning法を提案する。 P-Tuningは一般的に、完全に教師された設定と少数の設定の両方の下で、凍結された言語モデルとチューニングされた言語モデルの両方に有効である。
• 参考スコア（独自算出の注目度）: 42.701765107498346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompting a pretrained language model with natural language patterns has been proved effective for natural language understanding (NLU). However, our preliminary study reveals that manual discrete prompts often lead to unstable performance -- e.g., changing a single word in the prompt might result in substantial performance drop. We propose a novel method P-Tuning that employs trainable continuous prompt embeddings in concatenation with discrete prompts. Empirically, P-Tuning not only stabilizes training by minimizing the gap between various discrete prompts, but also improves performance by a sizeable margin on a wide range of NLU tasks including LAMA and SuperGLUE. P-Tuning is generally effective for both frozen and tuned language models, under both the fully-supervised and few-shot settings.
• Abstract（参考訳）: 学習済みの言語モデルを自然言語パターンで表現することは、自然言語理解(NLU)に有効であることが証明されている。 しかし、我々の予備研究では、手動の離散的なプロンプトは、しばしば不安定なパフォーマンスをもたらすことが分かっています。 本稿では,個別のプロンプトと組み合わせたトレーニング可能な連続プロンプト埋め込みを用いたP-Tuningを提案する。 実験的に、P-Tuningは様々な個別プロンプト間のギャップを最小化することでトレーニングを安定化するだけでなく、LAMAやSuperGLUEを含む幅広いNLUタスクにおいて、大きなマージンでパフォーマンスを向上させる。 P-Tuningは一般的に、完全に教師された設定と少数の設定の両方の下で、凍結および調整された言語モデルの両方に有効である。

関連論文リスト

• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning [28.29889045842277]
  マルチタスクによる学習は,さまざまなタスクセットを一度に一般化する上で有効だ。 マルチタスク学習のための半パラメトリックなプロンプトチューニング手法であるSPTを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:18:09Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models [82.75572875007755]
  NLGタスクの即時チューニングの発達を妨げる要因の1つは、馴染みの無い入力である、と我々は主張する。 これは、連続的なプロンプトと入力表現の両方を微調整する入力チューニングを提案する動機である。 提案する入力チューニングは概念的にシンプルで,実証的に強力である。
  論文  参考訳（メタデータ） (2022-03-07T05:04:32Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks [17.93703302601565]
  本稿では,広範囲のモデルスケールとNLUタスクにおいて,適切に最適化されたプロンプトチューニングが普遍的に有効であることを示す。 我々は、P-Tuning v2がファインチューニングの代替となり、将来の研究の強力なベースラインになると考えている。
  論文  参考訳（メタデータ） (2021-10-14T17:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。