論文の概要: Reframing Instructional Prompts to GPTk's Language

• arxiv url: http://arxiv.org/abs/2109.07830v1
• Date: Thu, 16 Sep 2021 09:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:18:16.613898
• Title: Reframing Instructional Prompts to GPTk's Language
• Title（参考訳）: GPTk言語に対する教育的プロンプトのフレーミング
• Authors: Swaroop Mishra, Daniel Khashabi, Chitta Baral, Yejin Choi and Hannaneh Hajishirzi
• Abstract要約: 本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
• 参考スコア（独自算出の注目度）: 72.69833640335519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can model designers turn task instructions into effective prompts for language models? Backed by extensive empirical analysis on GPT3, we observe important features for successful instructional prompts, and propose several reframing techniques for model designers to create such prompts. For example, a complex task can be decomposed into multiple simpler tasks. We experiment over 12 NLP tasks across 6 diverse categories (question generation, classification, etc.). Our results show that reframing improves few-shot learning performance by 14\% while reducing sample complexity over existing few-shot baselines. The performance gains are particularly important on large language models, such as GPT3 where tuning models or prompts on large datasets is not feasible. Furthermore, we observe that such gains are not limited to GPT3; the reframed tasks remain superior over raw instructions across different model architectures, underscoring the cross-model generality of these guidelines. We hope these empirical-driven techniques will pave way for more effective ways to prompt LMs in future.
• Abstract（参考訳）: モデルデザイナーはどのようにタスク命令を言語モデルの効果的なプロンプトにするか? GPT3の広範な経験的分析に支えられ、我々は教育的プロンプトを成功させるために重要な特徴を観察し、モデル設計者がそのようなプロンプトを作成するためのいくつかのリフレーミング手法を提案する。 例えば、複雑なタスクを複数の単純なタスクに分解することができる。 我々は6つのカテゴリ(探索生成、分類など)にまたがる12のNLPタスクを実験した。 この結果から,リフレーミングは,既存の数ショットベースラインよりもサンプルの複雑さを低減しつつ,数ショット学習性能を14倍向上させることがわかった。 パフォーマンスの向上は、gpt3のような大きな言語モデルにおいて特に重要であり、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。 さらに、これらの利得はGPT3に限らず、異なるモデルアーキテクチャにおける生の命令よりも、リフレームされたタスクの方が優れており、これらのガイドラインのクロスモデル一般性を裏付けている。 これらの実証駆動技術が、将来のLMを促進するためのより効果的な方法へと道を開くことを願っている。

関連論文リスト

• Deconstructing In-Context Learning: Understanding Prompts via Corruption [13.37109575313212]
  プロンプト全体を4つのコンポーネント(タスク記述、デモインプット、ラベル、インラインインストラクション)に分解する。 分類と生成タスクをカバーする10のデータセットを用いて,1.5Bから70Bのモデルについて検討した。 プロンプト内の繰り返しテキストはモデル性能を向上し、より大きなモデルはプロンプトのセマンティクスに敏感であることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T15:50:55Z)
• Rethinking ASTE: A Minimalist Tagging Scheme Alongside Contrastive Learning [7.785948823258398]
  Aspect Sentiment Triplet extract (ASTE) は、きめ細かい感情分析のサブタスクである。 ASTEへの既存のアプローチは、しばしばタスクを追加構造や外部データで複雑化する。 本稿では,新しいタグ付け手法を提案し,これらの課題を緩和するために対照的な学習手法を用いる。
  論文  参考訳（メタデータ） (2024-03-12T06:01:04Z)
• Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
  MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。 我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
  論文  参考訳（メタデータ） (2023-05-24T04:22:26Z)
• Instruction Induction: From Few Examples to Natural Language Task Descriptions [55.139554327372934]
  実例に適合する自然言語命令を生成するように促すことで,言語モデルがいくつかの実演から基礎となるタスクを明示的に推論できることを示す。 InstructGPTは65.7%の人的パフォーマンスを達成するが、オリジナルのGPT-3モデルは9.8%にしか達しない。
  論文  参考訳（メタデータ） (2022-05-22T09:22:37Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
  命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
  論文  参考訳（メタデータ） (2021-09-03T17:55:52Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。