論文の概要: GPT Understands, Too

• arxiv url: http://arxiv.org/abs/2103.10385v1
• Date: Thu, 18 Mar 2021 17:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 18:12:06.666667
• Title: GPT Understands, Too
• Title（参考訳）: GPTも理解している。
• Authors: Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, Jie Tang
• Abstract要約: GPT は NLU タスクにおける類似サイズの BERT よりも優れているか,あるいは同等であることを示す。 p-チューニングはトレーニング可能な継続的プロンプト埋め込みを用いる。 P-tuningは、数ショットと教師付き設定の両方でBERTのパフォーマンスも向上する。
• 参考スコア（独自算出の注目度）: 27.126982706549107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While GPTs with traditional fine-tuning fail to achieve strong results on natural language understanding (NLU), we show that GPTs can be better than or comparable to similar-sized BERTs on NLU tasks with a novel method P-tuning -- which employs trainable continuous prompt embeddings. On the knowledge probing (LAMA) benchmark, the best GPT recovers 64\% (P@1) of world knowledge without any additional text provided during test time, which substantially improves the previous best by 20+ percentage points. On the SuperGlue benchmark, GPTs achieve comparable and sometimes better performance to similar-sized BERTs in supervised learning. Importantly, we find that P-tuning also improves BERTs' performance in both few-shot and supervised settings while largely reducing the need for prompt engineering. Consequently, P-tuning outperforms the state-of-the-art approaches on the few-shot SuperGlue benchmark.
• Abstract（参考訳）: 従来の微調整型GPTは自然言語理解(NLU)において強力な結果が得られないが,学習可能な連続的プロンプト埋め込みを用いた新しいP-チューニング法により,NLUタスクにおける類似サイズのBERTよりも優れた結果が得られることを示す。 知識探索(LAMA)ベンチマークでは、最高のGPTはテスト期間中に追加のテキストが提供されずに64\%(P@1)の世界の知識を回復する。 SuperGlueベンチマークでは、GPTは教師あり学習において、類似サイズのBERTと同等、時には同等のパフォーマンスを達成する。 重要なことに、Pチューニングは、数ショットと教師付き設定の両方でBERTのパフォーマンスを向上すると同時に、プロンプトエンジニアリングの必要性を大幅に低減する。 その結果、p-tuningは、少数のsuperglueベンチマークで最先端のアプローチを上回っている。

関連論文リスト

• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning [28.29889045842277]
  マルチタスクによる学習は,さまざまなタスクセットを一度に一般化する上で有効だ。 マルチタスク学習のための半パラメトリックなプロンプトチューニング手法であるSPTを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:18:09Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models [82.75572875007755]
  NLGタスクの即時チューニングの発達を妨げる要因の1つは、馴染みの無い入力である、と我々は主張する。 これは、連続的なプロンプトと入力表現の両方を微調整する入力チューニングを提案する動機である。 提案する入力チューニングは概念的にシンプルで,実証的に強力である。
  論文  参考訳（メタデータ） (2022-03-07T05:04:32Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks [17.93703302601565]
  本稿では,広範囲のモデルスケールとNLUタスクにおいて,適切に最適化されたプロンプトチューニングが普遍的に有効であることを示す。 我々は、P-Tuning v2がファインチューニングの代替となり、将来の研究の強力なベースラインになると考えている。
  論文  参考訳（メタデータ） (2021-10-14T17:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。