論文の概要: Prompt Consistency for Zero-Shot Task Generalization

• arxiv url: http://arxiv.org/abs/2205.00049v1
• Date: Fri, 29 Apr 2022 19:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 13:22:37.635342
• Title: Prompt Consistency for Zero-Shot Task Generalization
• Title（参考訳）: ゼロショットタスク一般化のためのプロンプト整合性
• Authors: Chunting Zhou, Junxian He, Xuezhe Ma, Taylor Berg-Kirkpatrick, Graham Neubig
• Abstract要約: 本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
• 参考スコア（独自算出の注目度）: 118.81196556175797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most impressive results of recent NLP history is the ability of pre-trained language models to solve new tasks in a zero-shot setting. To achieve this, NLP tasks are framed as natural language prompts, generating a response indicating the predicted output. Nonetheless, the performance in such settings often lags far behind its supervised counterpart, suggesting a large space for potential improvement. In this paper, we explore methods to utilize unlabeled data to improve zero-shot performance. Specifically, we take advantage of the fact that multiple prompts can be used to specify a single task, and propose to regularize prompt consistency, encouraging consistent predictions over this diverse set of prompts. Our method makes it possible to fine-tune the model either with extra unlabeled training data, or directly on test input at inference time in an unsupervised manner. In experiments, our approach outperforms the state-of-the-art zero-shot learner, T0 (Sanh et al., 2022), on 9 out of 11 datasets across 4 NLP tasks by up to 10.6 absolute points in terms of accuracy. The gains are often attained with a small number of unlabeled examples.
• Abstract（参考訳）: 最近のNLPの歴史で最も印象的な結果の1つは、ゼロショット設定で新しいタスクを解くための事前訓練された言語モデルの能力である。 これを実現するために、NLPタスクは自然言語プロンプトとしてフレーム化され、予測された出力を示す応答を生成する。 それでも、このような設定のパフォーマンスは、監督対象よりもはるかに遅れており、潜在的な改善のための大きなスペースが示唆されている。 本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法を提案する。 具体的には、複数のプロンプトが一つのタスクを指定するのに利用できるという事実を活用し、プロンプトの一貫性を規則化し、この多様なプロンプトに対して一貫した予測を奨励することを提案する。 本手法では,追加ラベルなしのトレーニングデータでモデルを微調整したり,教師なしの方法で推論時に直接テスト入力を行うことができる。 実験では、4つのnlpタスクにまたがる11のデータセットのうち9つについて、精度の面で最大10.6の絶対点で最先端のゼロショット学習者t0(sanh et al., 2022)を上回っている。 利益はしばしば、少数の未ラベルの例で達成される。

関連論文リスト

• Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability [67.77534983324229]
  本稿では,非形式的トークンを識別する統一圧縮法を開発するために,大規模言語モデルの能力について検討する。 実験により、Selection-pは様々な分類タスクで最先端のパフォーマンスを達成することが示された。 以前の作業と比べて、異なるモデルに対して優れた転送性を示す。
  論文  参考訳（メタデータ） (2024-10-15T17:05:25Z)
• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Pre-trained Language Models Can be Fully Zero-Shot Learners [26.60008734311909]
  完全ゼロショット言語理解のための非パラメトリックプロンプト PLM (NPPrompt) を提案する。 NPPromptは事前訓練された言語モデルのみを使用し、さらなる微調整のためにラベル付きデータや追加の生コーパスを必要としない。 NPPromptは,従来の多種多様なNLPタスクにおける複数ショットとゼロショットの学習手法と比較して評価する。
  論文  参考訳（メタデータ） (2022-12-14T00:03:52Z)
• A Universal Discriminator for Zero-Shot Generalization [23.48188042332283]
  生成モデリングは大規模な事前学習とゼロショットの一般化において支配的なアプローチである。 我々は,多くのNLPタスクにおいて,識別的アプローチが生成的アプローチよりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-15T12:33:31Z)
• What Makes Pre-trained Language Models Better Zero-shot Learners? [12.164678440185007]
  ゼロショットシナリオでの迅速な学習の現在の方法は、十分な人間の注釈付きデータを持つ開発セットに依存している。 ゼロショットテキスト分類における妥当なプロンプトテンプレートのスクリーニング方法を提案する。 実験により,本手法は実写ゼロショット設定における予測性能の向上につながることが示された。
  論文  参考訳（メタデータ） (2022-09-30T03:28:19Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。