論文の概要: BARE: Combining Base and Instruction-Tuned Language Models for Better Synthetic Data Generation

• arxiv url: http://arxiv.org/abs/2502.01697v1
• Date: Mon, 03 Feb 2025 00:12:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:45.134291
• Title: BARE: Combining Base and Instruction-Tuned Language Models for Better Synthetic Data Generation
• Title（参考訳）: BARE: ベースモデルと命令付き言語モデルを組み合わせた合成データ生成
• Authors: Alan Zhu, Parth Asawa, Jared Quincy Davis, Lingjiao Chen, Ion Stoica, Joseph E. Gonzalez, Matei Zaharia,
• Abstract要約: 本研究では,ベースモデルの多様性とインストラクション学習モデルの品質を組み合わせた合成データ生成手法であるBase-Refineを提案する。 BARE生成データによる微調整は, GSM8Kの命令のみのデータよりも101%, RAFTのSOTA法より18.4%向上することを示す。
• 参考スコア（独自算出の注目度）: 67.79739574856391
• License:
• Abstract: As the demand for high-quality data in model training grows, researchers and developers are increasingly generating synthetic data to tune and train LLMs. A common assumption about synthetic data is that sampling from instruct-tuned models is sufficient; however, these models struggle to produce diverse outputs-a key requirement for generalization. Despite various prompting methods, in this work we show that achieving meaningful diversity from instruct-tuned models remains challenging. In contrast, we find base models without post-training exhibit greater diversity, but are less capable at instruction following and hence of lower quality. Leveraging this insight, we propose Base-Refine (BARE), a synthetic data generation method that combines the diversity of base models with the quality of instruct-tuned models through a two-stage process. With minimal few-shot examples and curation, BARE generates diverse and high-quality datasets, improving downstream task performance. We show that fine-tuning with as few as 1,000 BARE-generated samples can reach performance comparable to the best similarly sized models on LiveCodeBench tasks. Furthermore, fine-tuning with BARE-generated data achieves a 101% improvement over instruct-only data on GSM8K and a 18.4% improvement over SOTA methods on RAFT.
• Abstract（参考訳）: モデルトレーニングにおける高品質なデータの需要が増大するにつれて、研究者や開発者は、LSMをチューニングし、訓練するための合成データの生成をますます増加させています。 合成データに関する一般的な仮定は、インストラクションされたモデルからのサンプリングが十分であるということであるが、これらのモデルは、一般化の鍵となる要求である多様な出力を生成するのに苦労している。 様々なプロンプト手法にもかかわらず、本研究では、インストラクションされたモデルから有意義な多様性を達成することは依然として困難であることを示す。 対照的に,ポストトレーニングのないベースモデルでは,多様性が向上するが,それ故に低品質の指導を行うことができない。 この知見を生かして,ベースモデルとインストラクションモデルの品質を2段階のプロセスで組み合わせた合成データ生成手法であるBase-Refine(BARE)を提案する。 最小限のサンプルとキュレーションにより、BAREは多様な高品質のデータセットを生成し、ダウンストリームタスクのパフォーマンスを向上させる。 最小1000個のBARE生成サンプルによる微調整は、LiveCodeBenchタスクの最もよく似たサイズのモデルに匹敵するパフォーマンスが得られることを示す。 さらに、BARE生成データによる微調整により、GSM8Kの命令のみのデータよりも101%改善され、RAFTのSOTA法より18.4%改善された。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark with Collective Instructions in Healthcare [12.218718086529462]
  本研究は中国における総合医療ベンチマーク(CMB)に焦点を当てる。 私たちは、より大きなモデルに匹敵するスコアを得るために、より小さなベースモデルをトレーニングしました。 幅広い指導内容を統合することで,データ品質の不整合などの潜在的な問題に対処する。
  論文  参考訳（メタデータ） (2024-07-29T05:00:48Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
  機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。 実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-15T04:24:42Z)
• Synthetic Data Generation in Low-Resource Settings via Fine-Tuning of Large Language Models [15.991777903345575]
  大規模な言語モデルは、比較的少ないラベル付き例で下流タスクを一般化することができる。 あるいは、ラベル付きサンプルを十分に微調整すれば、より小さなモデルで特定のタスクを解くことができる。 我々は、より小さなモデルの下流性能を改善するために、微調整教師LEMを用いた微調整訓練データの合成データ生成について検討した。
  論文  参考訳（メタデータ） (2023-10-02T11:49:05Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。