論文の概要: How Many Data Samples is an Additional Instruction Worth?

• arxiv url: http://arxiv.org/abs/2203.09161v2
• Date: Fri, 18 Mar 2022 02:18:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 11:34:15.365773
• Title: How Many Data Samples is an Additional Instruction Worth?
• Title（参考訳）: 追加のインストラクションの価値があるデータサンプルはいくつあるか?
• Authors: Ravsehaj Singh Puri, Swaroop Mishra, Mihir Parmar and Chitta Baral
• Abstract要約: 最近導入された命令パラダイムは、自然言語で新しいタスクを定義することによって、NLPリソースを活用する非専門家ユーザーに権限を与える。 この結果から,タスク間で平均200個のデータサンプルに付加的な命令を適用できることが示唆された。
• 参考スコア（独自算出の注目度）: 20.66688303609522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently introduced instruction-paradigm empowers non-expert users to leverage NLP resources by defining a new task in natural language. Instruction-tuned models have significantly outperformed multitask learning models (without instruction); however they are far from state of the art task specific models. Conventional approaches to improve model performance via creating large datasets with lots of task instances or architectural/training changes in model may not be feasible for non-expert users. However, they can write alternate instructions to represent an instruction task. Is Instruction-augumentation helpful? We augment a subset of tasks in the expanded version of NATURAL INSTRUCTIONS with additional instructions and find that these significantly improve model performance (up to 35%), especially in the low-data regime. Our results indicate that an additional instruction can be equivalent to ~200 data samples on average across tasks.
• Abstract（参考訳）: 最近導入された命令パラダイムは、自然言語で新しいタスクを定義することによって、NLPリソースを活用する非専門家ユーザーに権限を与える。 命令を調整したモデルは、(命令なしで)マルチタスク学習モデルを大幅に上回っているが、最先端のタスク特化モデルとは程遠い。 多数のタスクインスタンスを持つ大規模なデータセットの作成や、モデルのアーキテクチャ/トレーニング変更を通じてモデルパフォーマンスを改善するという従来のアプローチは、専門家でないユーザにとって実現不可能な場合がある。 しかし、命令タスクを表す別の命令を書くことができる。 指導指導は役に立つか? 我々は、NATURAL INSTRUCTIONSの拡張バージョンにおけるタスクのサブセットを追加命令で拡張し、特に低データ体制におけるモデル性能(最大35%)を大幅に改善することを発見した。 その結果、追加の命令はタスク全体で平均200データサンプルに相当することが判明した。

関連論文リスト

• Cookbook: A framework for improving LLM generative abilities via programmatic data generating templates [57.29125360837203]
  Cookbookはランダムトークン上の単純なパターンからなるトレーニングデータを生成するフレームワークである。 クックブック生成したデータの微調整により,対応するタスクの性能を最大52.7の精度で向上できることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T17:29:40Z)
• Towards Robust Instruction Tuning on Multimodal Large Language Models [25.506776502317436]
  本研究では,マルチモーダルタスクにおいて,INSTRAUGという自動命令拡張手法を導入する。 2つの人気のあるマルチモーダル命令フォローベンチマークの結果、INSTRAUGは12のマルチモーダルタスク間でのMLLM(Multimodal Large Language Model)のアライメントを大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2024-02-22T12:35:50Z)
• Specialist or Generalist? Instruction Tuning for Specific NLP Tasks [58.422495509760154]
  包括的汎用的チューニングを取り入れることで,スペシャリストモデルの構築に寄与するかどうかを検討する。 実験では,異なる範囲で4つの目標タスクを評価した。 この効果は、タスク固有のトレーニングデータの量が限られている場合に特に顕著である。
  論文  参考訳（メタデータ） (2023-10-23T19:46:48Z)
• Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation [92.2167864437497]
  インストラクションチューニングデータの自動キュレーションのための動的成長パラダイムであるDynosaurを提案する。 既存のデータセットのメタデータに基づいて、LLMを使用して、関連するデータフィールドを特定し、適切な命令を生成することで、命令調整データを自動的に構築する。 既存のアノテートデータセットを活用することで、Dynosaurには、命令を生成するためのAPIコストを削減すること、命令チューニングのための高品質なデータを提供すること、新しいアノテートデータセットが利用可能になったときに、命令チューニングデータを生成することで、モデルの継続的な改善をサポートすること、など、いくつかのメリットがある。
  論文  参考訳（メタデータ） (2023-05-23T17:56:26Z)
• Do Models Really Learn to Follow Instructions? An Empirical Study of Instruction Tuning [37.01833561948585]
  命令チューニング(IT)に関する最近の研究は、目に見えないタスクに対してゼロショットの一般化性で大きな成果を上げている。 我々は、モデルトレーニングと変更した命令と元の命令とを比較して、モデルがどのようにITのインストラクションを利用するかを分析する。
  論文  参考訳（メタデータ） (2023-05-19T02:00:47Z)
• Preventing Catastrophic Forgetting in Continual Learning of New Natural Language Tasks [17.879087904904935]
  マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。 通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。 本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
  論文  参考訳（メタデータ） (2023-02-22T00:18:25Z)
• MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning [24.741736629886564]
  インストラクションチューニングは、命令によって指定されたタスクで事前訓練された言語モデルを微調整する新しい学習パラダイムである。 MUL-TIINSTRUCTは,最初のマルチモーダル・インストラクション・チューニング・ベンチマーク・データセットである。 各種マルチモーダルタスクにおけるゼロショット性能と,テキストのみの命令データセットからの変換学習の利点を示す。
  論文  参考訳（メタデータ） (2022-12-21T05:17:06Z)
• Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor [48.116843121810135]
  非自然的インストラクション(Unnatural Instructions: 創造的で多様なインストラクションの大規模なデータセット)を紹介します。 命令の3つのシード例と4番目の例を抽出した言語モデルによって64,000のサンプルを収集する。 このセットは、モデルに各命令を言い換えるよう促すことで拡張され、約24万の命令、入力、出力の例が生成される。
  論文  参考訳（メタデータ） (2022-12-19T18:21:00Z)
• Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
  本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
  論文  参考訳（メタデータ） (2021-09-16T09:44:43Z)
• Natural Instructions: Benchmarking Generalization to New Tasks from Natural Language Instructions [48.32337380549338]
  我々は,GPT3と細調整BARTのわずかなプロンプトにより,新しいタスクに対処する上で,既存の最先端言語モデル(LM)を評価する。 a)既存のモデルは命令の恩恵を受けており、従って、新しいタスクへの一般化の改善を示す; (b) GPT-3のようなモデルは命令の恩恵を受けるが、その利得の程度は異なる命令の分野によって異なり、また、解決されるタスクにも依存する。
  論文  参考訳（メタデータ） (2021-04-18T08:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。