論文の概要: Effective Frontiers: A Unification of Neural Scaling Laws

• arxiv url: http://arxiv.org/abs/2602.02593v1
• Date: Sun, 01 Feb 2026 10:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:14.961341
• Title: Effective Frontiers: A Unification of Neural Scaling Laws
• Title（参考訳）: 効果的なフロンティア: ニューラルネットワークのスケーリング法則の統合
• Authors: Jiaxuan Zou, Zixuan Gong, Ye Su, Huayi Tang, Yong Liu,
• Abstract要約: 本稿では,学習課題を長期分布(Zipfian)のパターンのプログレッシブカバレッジとして抽象化する統合フレームワークを提案する。 我々は、$N$、$D$、$C$の正確なスケーリング法則を導き、それらがキャパシティ、カバレッジ、最適化のボトルネックに起因する。
• 参考スコア（独自算出の注目度）: 19.808117554175013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural scaling laws govern the prediction power-law improvement of test loss with respect to model capacity ($N$), datasize ($D$), and compute ($C$). However, existing theoretical explanations often rely on specific architectures or complex kernel methods, lacking intuitive universality. In this paper, we propose a unified framework that abstracts general learning tasks as the progressive coverage of patterns from a long-tail (Zipfian) distribution. We introduce the Effective Frontier ($k_\star$), a threshold in the pattern rank space that separates learned knowledge from the unlearned tail. We prove that reducible loss is asymptotically determined by the probability mass of the tail a resource-dependent frontier truncation. Based on our framework, we derive the precise scaling laws for $N$, $D$, and $C$, attributing them to capacity, coverage, and optimization bottlenecks, respectively. Furthermore, we unify these mechanisms via a Max-Bottleneck principle, demonstrating that the Kaplan and Chinchilla scaling laws are not contradictory, but equilibrium solutions to the same constrained optimization problem under different active bottlenecks.
• Abstract（参考訳）: ニューラルスケーリング法は、モデル容量(N$)、データサイズ(D$)、計算量(C$)に関するテスト損失の予測力-法則の改善を規定する。 しかし、既存の理論的な説明は、直感的な普遍性に欠ける特定のアーキテクチャや複雑なカーネルメソッドに依存していることが多い。 本稿では,一般的な学習課題を,長い尾(Zipfian)分布からのパターンのプログレッシブカバレッジとして抽象化する統合フレームワークを提案する。 我々は、学習知識を未学習の尾から分離するパターンランク空間のしきい値であるエフェクトフロンティア(k_\star$)を紹介する。 再帰的損失は資源依存のフロンティアトランケーションの確率質量によって漸近的に決定されることを示す。 当社のフレームワークでは,それぞれがキャパシティ,カバレッジ,最適化のボトルネックに起因する,$N$,$D$,$C$の正確なスケーリング法則を導出しています。 さらに、これらのメカニズムをMax-Bottleneckの原理で統一し、KaplanとChinchillaのスケーリング法則は矛盾せず、異なるアクティブボトルネックの下で同じ制約付き最適化問題に対する平衡解であることを示した。

関連論文リスト

• Predicting and improving test-time scaling laws via reward tail-guided search [11.49701649103495]
  テストタイムのスケーリングは、大規模言語モデルの推論能力を向上するための重要な道として現れました。 テール誘導探索によるスケーリング特性の予測と改善のための新しい手法を提案する。 本手法は,報酬のテール分布を推定することにより,総括評価を必要とせず,LLMのスケーリング法則を予測する。
  論文  参考訳（メタデータ） (2026-02-01T23:40:25Z)
• Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
  ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。 学習がエラー分布の「ハードテール」を小さくすることを示す。
  論文  参考訳（メタデータ） (2026-01-07T10:00:17Z)
• Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
  制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。 微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。 本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T01:55:00Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Scaling Laws for Deep Learning [1.90365714903665]
  この論文では、これらのコストの根底にあるアルゴリズム的および方法論的制約に対処する体系的なアプローチを採っている。 まず、ディープラーニングトレーニングとプルーニングが、スケーリング法則によって予測可能であり、管理されていることを実証する。 そして、ノイズのない実現可能なケースの探索を通して、DLは実際、低いエラー限界からかなり離れた誤差源によって支配されていることを示す。
  論文  参考訳（メタデータ） (2021-08-17T15:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。