論文の概要: AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs

• arxiv url: http://arxiv.org/abs/2407.20177v3
• Date: Mon, 16 Dec 2024 03:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:32.753395
• Title: AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs
• Title（参考訳）: AutoScale:LLMのトレーニングのための計算最適データ構成の自動予測
• Authors: Feiyang Kang, Yifan Sun, Bingbing Wen, Si Chen, Dawn Song, Rafid Mahmood, Ruoxi Jia,
• Abstract要約: 本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。 我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
• 参考スコア（独自算出の注目度）: 61.13296177652599
• License:
• Abstract: Domain reweighting is an emerging research area aimed at adjusting the relative weights of different data sources to improve the effectiveness and efficiency of language model pre-training. This paper demonstrates that the optimal composition of training data from different domains is scale-dependent, challenging the existing practice of determining optimal mixtures through small-scale experiments and directly applying them at larger scales. We derive an analytical model for the dependence of optimal weights on data scale and introduce *AutoScale*, a novel, practical approach for optimizing data compositions at potentially large training data scales. *AutoScale* first uses a principled optimization framework to find optimal compositions at smaller, feasible scales, then predicts optimal compositions at larger scales using our derived model. Our evaluation on GPT-2 Large and BERT pre-training demonstrates *AutoScale*'s effectiveness in improving training convergence and downstream performance. Particularly, for GPT-2 Large on RedPajama, *AutoScale* decreases validation perplexity 28% faster than baselines, with up to 38% speed-up over unweighted training, achieving the best performance across downstream tasks. This work provides insights into the varying benefits of data sources across training scales for language models, contributing to the burgeoning research on scale-dependent data curation. Code is open-sourced.
• Abstract（参考訳）: ドメイン再重み付け(Domain reweighting)は、異なるデータソースの相対重み付けを調整し、言語モデル事前学習の有効性と効率を改善することを目的とした、新たな研究分野である。 本稿では, 異なる領域からの学習データの最適構成がスケール依存であることを示し, 小規模実験により最適混合を判定し, 大規模で直接適用するという既存の実践に挑戦する。 データスケールに最適な重みを依存させる分析モデルを提案し、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための新しい実践的アプローチである *AutoScale* を導入する。 *AutoScale* はまず,より小さく,実現可能なスケールで最適な構成を求めるために,原理化された最適化フレームワークを使用し,得られたモデルを用いて大規模で最適な構成を予測する。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。 特に、RedPajama上のGPT-2 Largeでは、*AutoScale*は、ベースラインよりも28%高速で、未処理のトレーニングよりも最大38%スピードアップし、ダウンストリームタスク全体で最高のパフォーマンスを実現している。 この研究は、言語モデルのトレーニングスケールにまたがるさまざまなデータソースのメリットに関する洞察を提供し、スケール依存のデータキュレーションに関する急成長する研究に寄与する。 コードはオープンソースである。

関連論文リスト

• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Optimizing Pretraining Data Mixtures with LLM-Estimated Utility [52.08428597962423]
  大規模な言語モデルは、高品質なトレーニングデータの増加によって改善される。 トークンカウントは手動と学習の混合よりも優れており、データセットのサイズと多様性に対する単純なアプローチが驚くほど効果的であることを示している。 UtiliMaxは,手動ベースラインよりも最大10.6倍のスピードアップを達成することで,トークンベースの200ドルを拡大する。また,LLMを活用して小さなサンプルからデータユーティリティを推定するモデル推定データユーティリティ(MEDU)は,計算要求を$simxで削減し,アブレーションベースのパフォーマンスに適合する。
  論文  参考訳（メタデータ） (2025-01-20T21:10:22Z)
• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• Optimizing importance weighting in the presence of sub-population shifts [0.0]
  トレーニングデータとテストデータの間の分散シフトは、機械学習モデルの性能を著しく損なう可能性がある。 トレーニングデータの有限標本サイズによる推定モデルのばらつきの増大を無視するため,既存の重み付けは準最適であると主張する。 重みとモデルパラメータを同時に最適化する二段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T09:21:10Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• D4: Improving LLM Pretraining via Document De-Duplication and Diversification [38.84592304799403]
  事前訓練されたモデル埋め込みによる慎重なデータ選択は、トレーニングをスピードアップできることを示す。 また、データ繰り返しがベースライントレーニングよりインテリジェントに優れていることも示しています。
  論文  参考訳（メタデータ） (2023-08-23T17:58:14Z)
• Trainable Weight Averaging: Accelerating Training and Improving Generalization [35.17919937007783]
  提案手法は,候補重みを対象とする減量部分空間内で動作する新しい最適化手法であるTWAを導入する。 TWAは柔軟性が高く、異なるトレーニングシナリオに適用できる。 大規模アプリケーションでは,並列計算と低ビット圧縮を組み合わせた分散トレーニングフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-05-26T01:54:48Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。