論文の概要: Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning

• arxiv url: http://arxiv.org/abs/2306.01150v1
• Date: Thu, 1 Jun 2023 21:11:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:43:01.260878
• Title: Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning
• Title（参考訳）: 指示は読んだか? 授業学習におけるタスク定義の有効性再考
• Authors: Fan Yin, Jesse Vig, Philippe Laban, Shafiq Joty, Caiming Xiong, Chien-Sheng Jason Wu
• Abstract要約: 教科学習におけるタスク定義の役割を体系的に研究する。 タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。 本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
• 参考スコア（独自算出の注目度）: 74.70157466822612
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) have shown impressive performance in following natural language instructions to solve unseen tasks. However, it remains unclear whether models truly understand task definitions and whether the human-written definitions are optimal. In this paper, we systematically study the role of task definitions in instruction learning. We first conduct an ablation analysis informed by human annotations to understand which parts of a task definition are most important, and find that model performance only drops substantially when removing contents describing the task output, in particular label information. Next, we propose an automatic algorithm to compress task definitions to a minimal supporting set of tokens, and find that 60\% of tokens can be removed while maintaining or even improving model performance. Based on these results, we propose two strategies to help models better leverage task instructions: (1) providing only key information for tasks in a common structured format, and (2) adding a meta-tuning stage to help the model better understand the definitions. With these two strategies, we achieve a 4.2 Rouge-L improvement over 119 unseen test tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、目に見えないタスクを解決するために、自然言語命令に従うことで素晴らしいパフォーマンスを示している。 しかし、モデルがタスク定義を本当に理解しているか、そして、人間が書いた定義が最適かどうかは不明である。 本稿では,授業学習におけるタスク定義の役割を体系的に研究する。 まず,タスク定義のどの部分が最も重要かを理解するために,人間のアノテーションに通知されたアブレーション分析を行い,タスクの出力を記述する内容,特にラベル情報を削除すると,モデルの性能が著しく低下することがわかった。 次に,タスク定義を最小サポートトークン集合に圧縮する自動アルゴリズムを提案し,モデル性能を維持したり改良したりしながら,60\%のトークンを除去できることを示す。 これらの結果に基づき,(1)共通構造化形式におけるタスクのキー情報のみを提供する,(2)モデルの定義をより理解するためのメタチューニングステージを追加する,という2つの手法を提案する。 これら2つの戦略により、119の未認識のテストタスクに対して4.2ルージュlの改善を達成しました。

関連論文リスト

• Evaluating the Instruction-following Abilities of Language Models using Knowledge Tasks [4.945902994386117]
  本稿では,タスク性能と命令追従機能の両方を検証し易い命令追従ベンチマークの開発に焦点をあてる。 既存の知識ベンチマークを適応させ、(a)知識タスクを正しく答える条件付きで強化するか、(b)複数の知識回答タスクにおいて候補オプションの空間を使用する。 大規模な命令調整 LLM でさえ、ゼロショット設定で単純な命令に従わないことがわかった。
  論文  参考訳（メタデータ） (2024-10-16T19:07:37Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• LINGO : Visually Debiasing Natural Language Instructions to Support Task Diversity [11.44413929033824]
  我々は,タスク駆動型ワークフローをサポートする新しいビジュアル分析インタフェースであるINGOを開発した。 我々は,1,616の言語課題のデータセットとその自然言語命令について,初心者と専門家の双方でユーザスタディを実施している。 両方のユーザグループに対して、lingOは事前訓練されたモデルのより難しいタスクの作成を促進する。
  論文  参考訳（メタデータ） (2023-04-12T22:55:52Z)
• Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
  本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。 目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-02-17T22:50:08Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
  テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。 我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2022-05-21T00:58:22Z)
• InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER [31.32381919473188]
  InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。 具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。 実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T07:56:36Z)
• Learning to Follow Language Instructions with Compositional Policies [22.778677208048475]
  本稿では,目標達成タスクからなる環境下で自然言語命令を実行することを学習するフレームワークを提案する。 我々は強化学習エージェントを訓練し、その後ブール代数を通して構成できる値関数を学習する。 我々は、Webスケールコーパスで事前訓練されたSeq2seqモデルを微調整し、言語を論理式にマッピングする。
  論文  参考訳（メタデータ） (2021-10-09T21:28:26Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。