論文の概要: Amortizing Scaling Law Construction Costs

• arxiv url: http://arxiv.org/abs/2609.05016v1
• Date: Fri, 04 Sep 2026 11:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.021283
• Title: Amortizing Scaling Law Construction Costs
• Title（参考訳）: スケーリング法建設コストの償却
• Abstract要約: 本稿では,ベイズ最適化問題としてデータ収集を定式化する,効率的なスケーリング法則構築のための枠組みを提案する。 計算予算を段階的に拡大し,実際の計算順序による構成評価を反映し,回復効率を大幅に向上させることが判明した。
• 参考スコア（独自算出の注目度）: 19.769099912679824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws guide the design choices for training large foundation models, but deriving them involves training an exhaustive grid over hyperparameters, token budgets, and parameter counts, which is computationally expensive. Fitting a scaling law, however, only requires the best-loss frontier across compute scales, discarding most of the trained configurations. We propose a framework for efficient scaling law construction that formulates data collection as a Bayesian optimization problem, and introduce metrics for comparing scaling law fitting methods under constrained compute budgets. We find that progressively expanding the compute budget during acquisition, mirroring the compute-ordered evaluation of configurations in practice, substantially improves recovery efficiency. Augmenting the observed configurations with surrogate-fantasized evaluations then recovers the broader experimental grid, allowing accurate scaling law fitting without training every configuration. Together, these can closely match scaling law fits over a full dense grid at computational savings of up to $10\text{--}100\times$.
• Abstract（参考訳）: スケーリング法則は、大規模な基礎モデルのトレーニングのための設計選択を導くが、その導出には、ハイパーパラメーター、トークン予算、パラメータカウントの徹底的なグリッドのトレーニングが含まれる。 しかし、スケーリングの法則を満たすには、トレーニングされた構成の大部分を破棄する、計算規模で最高のロバストなフロンティアしか必要としない。 本稿では,ベイズ最適化問題としてデータ収集を定式化する効率的なスケーリング法構築のための枠組みを提案し,制約付き計算予算下でのスケーリング法適合法を比較するための指標を提案する。 計算予算を段階的に拡大し,実際の計算順序による構成評価を反映し,回復効率を大幅に向上させることが判明した。 観測された構成をサロゲートファンタサイズの評価で強化し、より広範な実験グリッドを復元し、すべての構成をトレーニングすることなく正確なスケーリング法適合を可能にする。 これらは、最大10\text{-}100\times$の計算節約で、完全な高密度グリッド上のスケーリング法則と密接に一致させることができる。

関連論文リスト

• SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws [55.81298869922287]
  多数のクラスを持つ高次元ガウス混合モデルにおける多クラスロジスティック回帰のトレーニングダイナミクスについて検討する。 我々は,勾配に基づく最適化の下で,クロスエントロピーリスクを規定する厳密なスケーリング法則を確立する。
  論文  参考訳（メタデータ） (2026-09-07T18:30:09Z)
• Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search [51.33002870475756]
  マルチフィデリティベイズ最適化に基づくコスト認識獲得関数である Power-Law Entropy Search (PLES) を導入する。 PLESは、単一の目的関数を最適化するのではなく、スケーリング法見積の全体的な不確実性を低減する候補を検索する。
  論文  参考訳（メタデータ） (2026-09-01T15:41:59Z)
• Prescriptive Scaling Laws for Data Constrained Training [21.261009598515066]
  トレーニング計算は、高品質なデータの可用性をますます上回っている。 チンチラスケーリング法は、すべてのトレーニングトークンがユニークであると仮定する。 我々のスケーリング法則は、定性的に新しい計算-最適割り当てアドバイスをもたらす。
  論文  参考訳（メタデータ） (2026-05-02T23:14:20Z)
• Configuration-to-Performance Scaling Law with Neural Ansatz [19.686833161453464]
  textitConfiguration-to-Performance Scaling Law (CPL)を学習する CPLはトレーニング設定が最終トレーニング前損失にどのように影響するかを正確に予測する。 設定に依存しないチンチラ法よりも20～40%低い予測誤差を達成している。
  論文  参考訳（メタデータ） (2026-02-10T21:16:59Z)
• Towards Robust Scaling Laws for Optimizers [89.21160945066737]
  経験的スケーリング法則は、モデルのサイズやトレーニングデータの増加に伴って損失を予測するために広く使用されている。 本研究では, 損失分解を既約, 近似, 最適化誤差に分解した結果, チンチラ方式のスケーリング法則が自然に現れることを示す。
  論文  参考訳（メタデータ） (2026-02-07T21:40:33Z)
• Compute Optimal Scaling of Skills: Knowledge vs Reasoning [50.76705503978189]
  計算-最適スケーリングの振る舞いがスキルに依存しているかどうかを問う。 特に,知識に基づくQAやコード生成といった知識と推論に基づくスキルについて検討する。 本研究は,検証セットを用いた標準的な計算-最適スケーリングとの関連性について分析した。
  論文  参考訳（メタデータ） (2025-03-13T05:21:22Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Scaling Laws for Fine-Grained Mixture of Experts [4.412803924115907]
  ミキチャー・オブ・エキスパート(MoE)モデルは、大規模言語モデルの計算コストを削減するための主要なソリューションとして登場した。 本研究では,拡張変数を組み込んだスケーリング特性の解析を行う。 トレーニングトークンの数、モデルサイズ、粒度を考慮して、粒度の細かいMoEのスケーリング法則を確立します。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。