論文の概要: What Makes Instruction Learning Hard? An Investigation and a New Challenge in a Synthetic Environment

• arxiv url: http://arxiv.org/abs/2204.09148v1
• Date: Tue, 19 Apr 2022 22:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 13:10:13.688395
• Title: What Makes Instruction Learning Hard? An Investigation and a New Challenge in a Synthetic Environment
• Title（参考訳）: 教育を難しくする理由は何か? 合成環境における新たな課題
• Authors: Matthew Finlayson, Kyle Richardson, Ashish Sabharwal, Peter Clark
• Abstract要約: 制御された合成環境を用いて,大規模変圧器モデルの能力を学習者として特徴付ける。 我々のモデルは、微調整されたT5ベースのtext2text変換器であり、大きな正規言語と競合している。 本稿では,難易度の高い指導学習課題としてHard RegSetを提案する。
• 参考スコア（独自算出の注目度）: 44.79932055772803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The instruction learning paradigm -- where a model learns to perform new tasks from task descriptions alone -- has become popular in general-purpose model research. The capabilities of large transformer models as instruction learners, however, remain poorly understood. We use a controlled synthetic environment to characterize such capabilities. Specifically, we use the task of deciding whether a given string matches a regular expression (viewed as an instruction) to identify properties of tasks, instructions, and instances that make instruction learning challenging. For instance, we find that our model, a fine-tuned T5-based text2text transformer, struggles with large regular languages, suggesting that less precise instructions are challenging for models. Additionally, instruction executions that require tracking longer contexts of prior steps are also more difficult. We use our findings to systematically construct a challenging instruction learning dataset, which we call Hard RegSet. Fine-tuning on Hard RegSet, our large transformer learns to correctly interpret only 65.6% of test instructions (with at least 90% accuracy), and 11%-24% of the instructions in out-of-distribution generalization settings. We propose Hard RegSet as a challenging instruction learning task, and a controlled environment for studying instruction learning.
• Abstract（参考訳）: モデルがタスク記述だけで新しいタスクを実行することを学習する教示学習パラダイムは、汎用的なモデル研究で人気を博している。 しかし、命令学習者としての大きなトランスフォーマーモデルの能力はいまだに理解されていない。 このような能力を特徴付けるために,制御された合成環境を用いる。 具体的には、与えられた文字列が正規表現(命令と見なされる)と一致するかどうかを決定するタスクを使用して、命令学習を難しくするタスク、命令、インスタンスの特性を識別する。 例えば、細調整されたT5ベースのtext2text Transformerである我々のモデルは、大規模な正規言語と競合し、モデルの精度の低い命令が困難であることを示唆している。 さらに、前のステップの長いコンテキストを追跡する必要のある命令の実行も難しくなる。 そこで我々は,Hard RegSetと呼ぶ,難易度の高い学習データセットを体系的に構築する。 Hard RegSetの微調整では、テスト命令の65.6%(少なくとも90%の精度で)と、アウト・オブ・ディストリビューションの一般化設定における命令の11%-24%を正しく解釈することを学びました。 本稿では,難易度の高い指導学習課題としてHard RegSetを提案する。

関連論文リスト

• Evaluating the Instruction-following Abilities of Language Models using Knowledge Tasks [4.945902994386117]
  本稿では,タスク性能と命令追従機能の両方を検証し易い命令追従ベンチマークの開発に焦点をあてる。 既存の知識ベンチマークを適応させ、(a)知識タスクを正しく答える条件付きで強化するか、(b)複数の知識回答タスクにおいて候補オプションの空間を使用する。 大規模な命令調整 LLM でさえ、ゼロショット設定で単純な命令に従わないことがわかった。
  論文  参考訳（メタデータ） (2024-10-16T19:07:37Z)
• Instruction Following without Instruction Tuning [87.72635104686275]
  命令チューニングに比較して不十分な2種類の適応(チューニング)があるが、それでも命令に従うことができる。 我々は、事前訓練されたモデルを用いて、エキスパート製品における指示に従うルールベースの言語モデルを手書きで支援する。
  論文  参考訳（メタデータ） (2024-09-21T22:36:22Z)
• Instruction-following Evaluation through Verbalizer Manipulation [64.73188776428799]
  本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。 異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
  論文  参考訳（メタデータ） (2023-07-20T03:54:24Z)
• Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
  本研究では、しばしば使われない補助的監督源である言語の使用について検討する。 近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。 さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
  論文  参考訳（メタデータ） (2023-06-21T20:47:23Z)
• Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning [74.70157466822612]
  教科学習におけるタスク定義の役割を体系的に研究する。 タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。 本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-01T21:11:24Z)
• LINGO : Visually Debiasing Natural Language Instructions to Support Task Diversity [11.44413929033824]
  我々は,タスク駆動型ワークフローをサポートする新しいビジュアル分析インタフェースであるINGOを開発した。 我々は,1,616の言語課題のデータセットとその自然言語命令について,初心者と専門家の双方でユーザスタディを実施している。 両方のユーザグループに対して、lingOは事前訓練されたモデルのより難しいタスクの作成を促進する。
  論文  参考訳（メタデータ） (2023-04-12T22:55:52Z)
• Large Language Model Instruction Following: A Survey of Progresses and Challenges [15.94137745420097]
  本稿では,現在の指導研究を要約し,考察する。 われわれの知る限りでは、次の教示に関する総合的な調査はこれが初めてである。
  論文  参考訳（メタデータ） (2023-03-18T19:17:47Z)
• Robustness of Learning from Task Instructions [15.462970803323563]
  従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。 新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。 本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
  論文  参考訳（メタデータ） (2022-12-07T17:54:59Z)
• The Turking Test: Can Language Models Understand Instructions? [45.266428794559495]
  本稿では,様々な複雑さの自然言語命令に従うモデルの能力を検証したチューリングテストを提案する。 優れた評価手法にもかかわらず、大きな事前訓練された言語モデルが全てのタスクで不十分に機能することを観察する。
  論文  参考訳（メタデータ） (2020-10-22T18:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。