論文の概要: Optimization Hyper-parameter Laws for Large Language Models
- arxiv url: http://arxiv.org/abs/2409.04777v1
- Date: Sat, 7 Sep 2024 09:37:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 20:41:31.923743
- Title: Optimization Hyper-parameter Laws for Large Language Models
- Title(参考訳): 大規模言語モデルに対する最適化ハイパーパラメータ法則
- Authors: Xingyu Xie, Kuangyu Ding, Shuicheng Yan, Kim-Chuan Toh, Tianwen Wei,
- Abstract要約: ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。
さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。
このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
- 参考スコア(独自算出の注目度): 52.49860340549727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have driven significant AI advancements, yet their training is resource-intensive and highly sensitive to hyper-parameter selection. While scaling laws provide valuable guidance on model size and data requirements, they fall short in choosing dynamic hyper-parameters, such as learning-rate (LR) schedules, that evolve during training. To bridge this gap, we present Optimization Hyper-parameter Laws (Opt-Laws), a framework that effectively captures the relationship between hyper-parameters and training outcomes, enabling the pre-selection of potential optimal schedules. Grounded in stochastic differential equations, Opt-Laws introduce novel mathematical interpretability and offer a robust theoretical foundation for some popular LR schedules. Our extensive validation across diverse model sizes and data scales demonstrates Opt-Laws' ability to accurately predict training loss and identify optimal LR schedule candidates in pre-training, continual training, and fine-tuning scenarios. This approach significantly reduces computational costs while enhancing overall model performance.
- Abstract(参考訳): 大規模言語モデルは、AIの大幅な進歩を推進してきたが、そのトレーニングはリソース集約的で、ハイパーパラメータの選択に非常に敏感である。
スケーリング法則は、モデルのサイズとデータ要件に関する貴重なガイダンスを提供するが、トレーニング中に進化する学習速度(LR)スケジュールのような動的ハイパーパラメータの選択には不足している。
このギャップを埋めるために、最適化ハイパーパラメータ法(Opt-Laws)を提案する。これは、ハイパーパラメータとトレーニング結果の関係を効果的に把握し、潜在的に最適なスケジュールの選択を可能にするフレームワークである。
確率微分方程式に基づいて、Opt-Lawsは、新しい数学的解釈可能性を導入し、いくつかの人気LRスケジュールに対する堅牢な理論的基盤を提供する。
様々なモデルサイズとデータスケールにわたる広範な検証は、トレーニング損失を正確に予測し、トレーニング前、継続トレーニング、微調整シナリオにおいて最適なLRスケジュール候補を特定できるOpt-Lawsの能力を示している。
このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
関連論文リスト
- Revolutionizing Large Language Model Training through Dynamic Parameter Adjustment [0.0]
本稿では、パラメータのトレーニング可能な部分を頻繁に変更し、効果的な事前学習を容易にする新しいパラメータ効率トレーニング手法を提案する。
本手法は,事前学習期間中に,現在のパラメータ効率アルゴリズムに匹敵するメモリ削減と計算オーバーヘッドを実現する。
論文 参考訳(メタデータ) (2024-06-03T05:40:34Z) - The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [60.52921835351632]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。
特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。
コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文 参考訳(メタデータ) (2024-04-01T16:00:01Z) - On Optimizing Hyperparameters for Quantum Neural Networks [0.5999777817331317]
現在の最先端の機械学習モデルは、トレーニングに数週間を要する。
量子コンピューティング、特に量子機械学習(QML)は、理論的なスピードアップと強化されたパワーを提供する。
論文 参考訳(メタデータ) (2024-03-27T13:59:09Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - On the Robustness of Decision-Focused Learning [0.0]
決定焦点学習(Decision-Focused Learning, DFL)は、機械学習(ML)モデルを訓練し、不完全な最適化問題の欠落パラメータを予測するための新興学習パラダイムである。
DFLは、予測と最適化タスクを統合することで、エンドツーエンドシステムでMLモデルをトレーニングし、トレーニングとテストの目的の整合性を向上させる。
論文 参考訳(メタデータ) (2023-11-28T04:34:04Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳(メタデータ) (2023-09-15T16:29:27Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳(メタデータ) (2022-06-16T01:50:25Z) - Scalable One-Pass Optimisation of High-Dimensional Weight-Update
Hyperparameters by Implicit Differentiation [0.0]
近似的過勾配型ハイパーパラメータオプティマイザを開発した。
トレーニングは1回のみであり、再スタートは行わない。
また、真の過次性への収束を動機づける議論も提供する。
論文 参考訳(メタデータ) (2021-10-20T09:57:57Z) - Multi-level Training and Bayesian Optimization for Economical
Hyperparameter Optimization [12.92634461859467]
本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。
光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。
このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
論文 参考訳(メタデータ) (2020-07-20T09:03:02Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。