論文の概要: Scaling Optimal LR Across Token Horizons

• arxiv url: http://arxiv.org/abs/2409.19913v2
• Date: Wed, 2 Oct 2024 17:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 16:57:15.421205
• Title: Scaling Optimal LR Across Token Horizons
• Title（参考訳）: トーケン・ホライズンズにおける最適LRのスケーリング
• Authors: Johan Bjorck, Alon Benhaim, Vishrav Chaudhary, Furu Wei, Xia Song,
• Abstract要約: LLMトレーニングにおいて,最適な学習速度がトークン水平線に依存することを示す。 また,LLama-1が高LRを多用した証拠も提示し,その性能を推定した。
• 参考スコア（独自算出の注目度）: 81.29631219839311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art LLMs are powered by scaling -- scaling model size, dataset size and cluster size. It is economically infeasible to extensively tune hyperparameter for the largest runs. Instead, approximately optimal hyperparameters must be inferred or \textit{transferred} from smaller experiments. Hyperparameter transfer across model sizes has been studied in Yang et al. However, hyperparameter transfer across dataset size -- or token horizon -- has not been studied yet. To remedy this we conduct a large scale empirical study on how optimal learning rate (LR) depends on token horizon in LLM training. We first demonstrate that the optimal LR changes significantly with token horizon -- longer training necessitates smaller LR. Secondly we demonstrate the the optimal LR follows a scaling law, and that the optimal LR for longer horizons can be accurately estimated from shorter horizons via such scaling laws. We also provide a rule-of-thumb for transferring LR across token horizons with zero overhead over current practices. Lastly we provide evidence that LLama-1 used too high LR, and estimate the performance hit from this. We thus argue that hyperparameter transfer across data size is an important and overlooked component of LLM training.
• Abstract（参考訳）: State-of-the-the-art LLMs are powered by scaling -- scale model size, dataset size and cluster size. it is be capableable to widely tune hyperparameter for the largest run。その代わりに、およそ最適なハイパーパラメータを小さな実験から推論するか、あるいは \textit{transferred} にする必要がある。モデルサイズをまたいだハイパーパラメータ転送は、 Yang et alで研究されているが、データセットサイズをまたいだハイパーパラメータ転送(ハイパーパラメータ転送) -- トークン水平線(トークン水平線) -- は、まだ研究されていない。ここでは、LLMトレーニングにおける最適な学習率(LR)がトークン水平線(トークン水平線)にどのように依存するかに関する大規模な実証的研究を行う。 第二に、最適LRはスケーリング法則に従い、より長い水平線に対する最適LRはそのようなスケーリング法則によって短い水平線から正確に推定できることを示す。 また、トークン水平線を横切るLRの転送を、現在のプラクティスのオーバーヘッドをゼロにするためのルール・オブ・タブも提供します。 最後に、LLama-1が高LRを多用した証拠を提供し、これによる性能低下を推定する。 したがって、データサイズを越えたハイパーパラメータ転送は、LLMトレーニングの重要なコンポーネントであり、見過ごされている。

関連論文リスト

• Where Do Large Learning Rates Lead Us? [5.305784285588872]
  小さいLRや重量平均値で微調整を行った結果,初期LRの幅が狭いだけで最適な結果が得られた。 これらの初期LRは、タスクに最も関係のある機能に明確に焦点を合わせながら、学習された機能の集合を疎結合にしていることを示す。 対照的に、LRが小さすぎると不安定な最小化が生じ、全ての特徴を同時に学習しようと試み、その結果一般化が不十分になる。
  論文  参考訳（メタデータ） (2024-10-29T15:14:37Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• SubZero: Random Subspace Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
  ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。 さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。 このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-07T09:37:19Z)
• Scaling Law with Learning Rate Annealing [4.121865876406014]
  ニューラルネットワークモデルのクロスエントロピー損失曲線は、学習速度(LR)がトレーニングステップを上回り、スケーリング法則に準拠している。 LRアニールによるスケーリング法則の適用により、学習速度(LRS)の任意のステップにおける損失を正確に予測することができる。
  論文  参考訳（メタデータ） (2024-08-20T17:30:48Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Temporal Scaling Law for Large Language Models [24.12384260752973]
  本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。 テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。 動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
  論文  参考訳（メタデータ） (2024-04-27T05:49:11Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。