論文の概要: Instruction Induction: From Few Examples to Natural Language Task Descriptions

• arxiv url: http://arxiv.org/abs/2205.10782v1
• Date: Sun, 22 May 2022 09:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 01:03:26.003149
• Title: Instruction Induction: From Few Examples to Natural Language Task Descriptions
• Title（参考訳）: インストラクション誘導:いくつかの例から自然言語タスク記述まで
• Authors: Or Honovich, Uri Shaham, Samuel R. Bowman, Omer Levy
• Abstract要約: 実例に適合する自然言語命令を生成するように促すことで,言語モデルがいくつかの実演から基礎となるタスクを明示的に推論できることを示す。 InstructGPTは65.7%の人的パフォーマンスを達成するが、オリジナルのGPT-3モデルは9.8%にしか達しない。
• 参考スコア（独自算出の注目度）: 55.139554327372934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are able to perform a task by conditioning on a few input-output demonstrations - a paradigm known as in-context learning. We show that language models can explicitly infer an underlying task from a few demonstrations by prompting them to generate a natural language instruction that fits the examples. To explore this ability, we introduce the instruction induction challenge, compile a dataset consisting of 24 tasks, and define a novel evaluation metric based on executing the generated instruction. We discover that, to a large extent, the ability to generate instructions does indeed emerge when using a model that is both large enough and aligned to follow instructions; InstructGPT achieves 65.7% of human performance in our execution-based metric, while the original GPT-3 model reaches only 9.8% of human performance. This surprising result suggests that instruction induction might be a viable learning paradigm in and of itself, where instead of fitting a set of latent continuous parameters to the data, one searches for the best description in the natural language hypothesis space.
• Abstract（参考訳）: 大規模な言語モデルは、いくつかの入出力デモ(in-context learningとして知られるパラダイム)を条件付けしてタスクを実行することができる。 実例に合致する自然言語命令を生成するように促すことで,いくつかの実演から基礎となるタスクを明示的に推論できることを示す。 そこで本研究では,24タスクからなるデータセットをコンパイルし,生成した命令の実行に基づいて新たな評価指標を定義する。 instructgptは、実行ベースのメトリクスで人間のパフォーマンスの65.7%を達成していますが、オリジナルのgpt-3モデルは人間のパフォーマンスの9.8%に達しています。 この驚くべき結果は、インストラクションインダクションが、データに潜在連続パラメータのセットを適合させる代わりに、自然言語仮説空間における最善の記述を探すという、それ自体において有効な学習パラダイムであることを示唆している。

関連論文リスト

• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor [48.116843121810135]
  非自然的インストラクション(Unnatural Instructions: 創造的で多様なインストラクションの大規模なデータセット)を紹介します。 命令の3つのシード例と4番目の例を抽出した言語モデルによって64,000のサンプルを収集する。 このセットは、モデルに各命令を言い換えるよう促すことで拡張され、約24万の命令、入力、出力の例が生成される。
  論文  参考訳（メタデータ） (2022-12-19T18:21:00Z)
• Skill Induction and Planning with Latent Language [94.55783888325165]
  我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。 本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。 訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
  論文  参考訳（メタデータ） (2021-10-04T15:36:32Z)
• Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
  本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
  論文  参考訳（メタデータ） (2021-09-16T09:44:43Z)
• Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
  命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
  論文  参考訳（メタデータ） (2021-09-03T17:55:52Z)
• The Turking Test: Can Language Models Understand Instructions? [45.266428794559495]
  本稿では,様々な複雑さの自然言語命令に従うモデルの能力を検証したチューリングテストを提案する。 優れた評価手法にもかかわらず、大きな事前訓練された言語モデルが全てのタスクで不十分に機能することを観察する。
  論文  参考訳（メタデータ） (2020-10-22T18:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。