論文の概要: Natural Instructions: Benchmarking Generalization to New Tasks from Natural Language Instructions

• arxiv url: http://arxiv.org/abs/2104.08773v1
• Date: Sun, 18 Apr 2021 08:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:50:44.360117
• Title: Natural Instructions: Benchmarking Generalization to New Tasks from Natural Language Instructions
• Title（参考訳）: 自然命令:自然言語命令から新しいタスクへのベンチマークの一般化
• Authors: Swaroop Mishra, Daniel Khashabi, Chitta Baral, Hannaneh Hajishirzi
• Abstract要約: 我々は,GPT3と細調整BARTのわずかなプロンプトにより,新しいタスクに対処する上で,既存の最先端言語モデル(LM)を評価する。 a)既存のモデルは命令の恩恵を受けており、従って、新しいタスクへの一般化の改善を示す; (b) GPT-3のようなモデルは命令の恩恵を受けるが、その利得の程度は異なる命令の分野によって異なり、また、解決されるタスクにも依存する。
• 参考スコア（独自算出の注目度）: 48.32337380549338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can we enable NLP models to appropriately respond to instructional prompts and consequently generalize to new tasks? To study this question, we leverage the existing NLP datasets and the instructions that were used to crowdsource them to create NATURAL INSTRUCTIONS, a dataset of instructions and task-specific input/output data. This dataset consists of 61 distinct language instructions and about 600k task instances, and is used to evaluate existing state-of-the-art language-models (LMs) in addressing new tasks by few-shot prompting of GPT3 and fine-tuning BART. Our analysis indicates that: (a) the existing models indeed benefit from instructions and hence, show improved generalization to new tasks; (b) while models like GPT-3 generally benefit from instructions, the extent of their gains varies across different fields of instructions and also depends on the task being solved; (c) generalization to unseen tasks in NATURAL INSTRUCTIONS remains far from perfect for the state-of-the-art, indicating significant room for more progress in this direction.
• Abstract（参考訳）: NLPモデルを命令プロンプトに適切に応答させ、その結果、新しいタスクに一般化できるだろうか? そこで我々は,既存のNLPデータセットと,それらをクラウドソーシングしてNATURAL INSTRUCTIONS,命令のデータセット,タスク固有の入出力データを作成する。 このデータセットは61の異なる言語命令と約600kのタスクインスタンスで構成されており、GPT3と微調整BARTのわずかなプロンプトによって新しいタスクに対処する既存の最先端言語モデル(LM)を評価するために使用される。 b) GPT-3のようなモデルは命令の分野によって異なるが,その利得の程度は課題によって異なる。 (c) NATURAL INSTRUCTIONSにおける未確認タスクへの一般化は、最先端の作業には程遠いままであり,この方向の進展を示す重要な余地は残っていない。

関連論文リスト

• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor [48.116843121810135]
  非自然的インストラクション(Unnatural Instructions: 創造的で多様なインストラクションの大規模なデータセット)を紹介します。 命令の3つのシード例と4番目の例を抽出した言語モデルによって64,000のサンプルを収集する。 このセットは、モデルに各命令を言い換えるよう促すことで拡張され、約24万の命令、入力、出力の例が生成される。
  論文  参考訳（メタデータ） (2022-12-19T18:21:00Z)
• Boosting Natural Language Generation from Instructions with Meta-Learning [43.64522457686405]
  最近の研究によると、言語モデル(LM)はマルチタスクで訓練されている。 Textitinstructional Learning (MTIL) は多様なNLPを解くことができる。 即時チューニングよりもパフォーマンスが向上したタスク。 本稿では,MTILに適用したメタラーニングが,ゼロショット設定における未確認タスクへの一般化をさらに改善できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-10-20T22:23:23Z)
• Instruction Induction: From Few Examples to Natural Language Task Descriptions [55.139554327372934]
  実例に適合する自然言語命令を生成するように促すことで,言語モデルがいくつかの実演から基礎となるタスクを明示的に推論できることを示す。 InstructGPTは65.7%の人的パフォーマンスを達成するが、オリジナルのGPT-3モデルは9.8%にしか達しない。
  論文  参考訳（メタデータ） (2022-05-22T09:22:37Z)
• How Many Data Samples is an Additional Instruction Worth? [20.66688303609522]
  最近導入された命令パラダイムは、自然言語で新しいタスクを定義することによって、NLPリソースを活用する非専門家ユーザーに権限を与える。 この結果から,タスク間で平均200個のデータサンプルに付加的な命令を適用できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-17T08:30:30Z)
• InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER [31.32381919473188]
  InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。 具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。 実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T07:56:36Z)
• Quantifying Adaptability in Pre-trained Language Models with 500 Tasks [60.0364822929442]
  本稿では,新しいベンチマークであるTaskBench500を用いて,LM適応性の特徴と限界に関する大規模な実証的研究を行う。 我々は適応性の3つの側面を評価し、適応手順が小さなデータセットを記憶する能力において劇的に異なることを発見した。 実験の結果、新しいタスクへの適応性、例えば新しい例への一般化は体系的に記述され、理解されることがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:00:25Z)
• Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
  本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
  論文  参考訳（メタデータ） (2021-09-16T09:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。