Fugu-MT 論文翻訳(概要): Cookbook: A framework for improving LLM generative abilities via programmatic data generating templates

論文の概要: Cookbook: A framework for improving LLM generative abilities via programmatic data generating templates

arxiv url: http://arxiv.org/abs/2410.05224v1
Date: Mon, 7 Oct 2024 17:29:40 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 23:39:03.153903
Title: Cookbook: A framework for improving LLM generative abilities via programmatic data generating templates
Title（参考訳）: Cookbook: プログラムデータ生成テンプレートによるLCM生成能力向上のためのフレームワーク
Authors: Avanika Narayan, Mayee F. Chen, Kush Bhatia, Christopher Ré,
Abstract要約: Cookbookはランダムトークン上の単純なパターンからなるトレーニングデータを生成するフレームワークである。クックブック生成したデータの微調整により,対応するタスクの性能を最大52.7の精度で向上できることがわかった。
参考スコア（独自算出の注目度）: 57.29125360837203
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fine-tuning large language models (LLMs) on instruction datasets is a common way to improve their generative capabilities. However, instruction datasets can be expensive and time-consuming to manually curate, and while LLM-generated data is less labor-intensive, it may violate user privacy agreements or terms of service of LLM providers. Therefore, we seek a way of constructing instruction datasets with samples that are not generated by humans or LLMs but still improve LLM generative capabilities. In this work, we introduce Cookbook, a framework that programmatically generates training data consisting of simple patterns over random tokens, resulting in a scalable, cost-effective approach that avoids legal and privacy issues. First, Cookbook uses a template -- a data generating Python function -- to produce training data that encourages the model to learn an explicit pattern-based rule that corresponds to a desired task. We find that fine-tuning on Cookbook-generated data is able to improve performance on its corresponding task by up to 52.7 accuracy points. Second, since instruction datasets improve performance on multiple downstream tasks simultaneously, Cookbook algorithmically learns how to mix data from various templates to optimize performance on multiple tasks. On the standard multi-task GPT4ALL evaluation suite, Mistral-7B fine-tuned using a Cookbook-generated dataset attains the best accuracy on average compared to other 7B parameter instruction-tuned models and is the best performing model on 3 out of 8 tasks. Finally, we analyze when and why Cookbook improves performance and present a metric that allows us to verify that the improvement is largely explained by the model's generations adhering better to template rules.
Abstract（参考訳）: 命令データセット上での微調整大型言語モデル(LLM)は、その生成能力を改善するための一般的な方法である。しかし、命令データセットは手作業でキュレートするのに高価で時間がかかる可能性があり、LLM生成データは労働集約度が低いが、ユーザーのプライバシー契約やLLMプロバイダのサービス規約に違反している可能性がある。そこで我々は,人間やLLMが生成しないが,LLM生成能力を向上させるサンプルを用いて,命令データセットを構築する方法を模索している。本研究では,ランダムトークン上の単純なパターンからなるトレーニングデータをプログラムで生成するフレームワークであるCookbookを紹介する。まず、Cookbookはテンプレート(データ生成Python関数)を使用して、モデルに望ましいタスクに対応する明示的なパターンベースのルールを学ぶように促すトレーニングデータを生成する。クックブック生成したデータの微調整により、対応するタスクの性能を52.7の精度で向上できることがわかった。第二に、命令データセットは複数の下流タスクのパフォーマンスを同時に改善するので、Cookbookはアルゴリズム的に、さまざまなテンプレートからのデータを混ぜて、複数のタスクのパフォーマンスを最適化する方法を学ぶ。標準的なマルチタスク GPT4ALL 評価スイートでは,Cookbook 生成データセットを用いて微調整した Mistral-7B が,他の 7B パラメータの命令調整モデルと比較して平均で最高の精度を達成し,8つのタスクのうち3つで最高のパフォーマンスモデルである。最後に、Cookbookがいつ、なぜパフォーマンスを改善したのかを分析し、その改善がテンプレートルールに忠実なモデル世代によって主に説明されていることを確認するためのメトリクスを提示します。

関連論文リスト

Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Automated Data Curation for Robust Language Model Fine-Tuning [13.8454385440986]
本稿では,データセットのチューニングを行うための自動データキュレーションパイプライン CLEAR を提案する。 CLEARは、どのトレーニングデータが低品質であるかを見積もる。実験の結果、CLEARは多くのデータセットやモデルにまたがって微調整されたモデルの性能を一貫して改善していることがわかった。
論文参考訳（メタデータ） (2024-03-19T14:44:45Z)
Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation [9.574486521686323]
Bonitoは、未注釈のテキストをタスク固有のトレーニングデータセットに変換する条件付きタスク生成のモデルである。そこで,本研究では,自己教師付きベースライン上での事前学習モデルと指導モデルの平均性能を著しく向上することを示す。
論文参考訳（メタデータ） (2024-02-28T13:54:57Z)
Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文参考訳（メタデータ） (2023-11-20T14:50:12Z)
Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation [92.2167864437497]
インストラクションチューニングデータの自動キュレーションのための動的成長パラダイムであるDynosaurを提案する。既存のデータセットのメタデータに基づいて、LLMを使用して、関連するデータフィールドを特定し、適切な命令を生成することで、命令調整データを自動的に構築する。既存のアノテートデータセットを活用することで、Dynosaurには、命令を生成するためのAPIコストを削減すること、命令チューニングのための高品質なデータを提供すること、新しいアノテートデータセットが利用可能になったときに、命令チューニングデータを生成することで、モデルの継続的な改善をサポートすること、など、いくつかのメリットがある。
論文参考訳（メタデータ） (2023-05-23T17:56:26Z)
PiVe: Prompting with Iterative Verification Improving Graph-based Generative Capability of LLMs [28.33598529903845]
大規模言語モデルの出力の検証モジュールとして機能するために,小言語モデルをいかに訓練するかを示す。また,検証モジュールがテキスト・ツー・グラフ生成タスクに対して,よりコスト効率のよいソリューションのために,繰り返し修正をオフラインで適用できることを示す。
論文参考訳（メタデータ） (2023-05-21T08:11:24Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。