論文の概要: Foundations of the Scaling Law
- arxiv url: http://arxiv.org/abs/2610.27789v2
- Date: Fri, 23 Oct 2026 11:01:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.212833
- Title: Foundations of the Scaling Law
- Title（参考訳）: スケーリング法の基礎
- Abstract要約: 経験的スケーリング法則は、パラメータの損失を$N$、トレーニングトークンを$D$、計算トークンを$C$に関連付ける。
このノートは、指数の背後にある3つのメカニズムを説明します。
- 参考スコア（独自算出の注目度）: 4.431432515373321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empirical scaling laws relate loss to parameters $N$, training tokens $D$ and compute $C$. This technical note explains three mechanisms behind their exponents. Local approximation bounds function error at rate $N_e^{-γs/d}$, with effective parameters $N_e$, smoothness $s$, reuse exponent $γ$ and dimension $d$; the loss function determines the risk bound. Independent feature coverage gives $α_D=(β-1)/ζ$ from predictive-weight decay $β$ and occurrence rarity $ζ$. Separable-loss optimization determines training allocations and deployment crossovers. Nonlinear scoring can produce apparent emergent abilities, while grokking concerns delayed generalization and verification constrains test-time scaling. For regular molecular configurations, the $\mathrm{SE}(3)$ quotient gives $d_{\mathrm{int}}=d-6$ and relative approximation-exponent gain $6/d_{\mathrm{int}}$. Optimized dense-to-equivariant excess-loss ratios scale as $C^{p_{\mathrm{eq}}-p_{\mathrm{dense}}}$, where $p_j$ are compute-loss exponents and the prefactor depends on loss amplitudes and FLOP costs. Domain examples also cover visual resolution, conformational coverage and correlated-sample precision.
- Abstract（参考訳）: 経験的スケーリング法則は、パラメータの損失を$N$、トレーニングトークンを$D$、計算トークンを$C$に関連付ける。
この技術ノートは、指数の背後にある3つのメカニズムを説明します。
局所近似は、有効パラメータが$N_e$、滑らか性が$s$、再利用指数が$γ$、次元が$d$で関数エラーのレートが$N_e^{-γs/d}$となる。
独立な特徴カバレッジは、予測重み付けの崩壊$β$から$α_D=(β-1)/>$を与え、発生ラリティー$\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ の式から得られる。
分離可能なロス最適化は、トレーニングのアロケーションとデプロイメントのクロスオーバーを決定する。
非線形スコアリングは明らかに創発的な能力を生み出すが、グラッキングは一般化と検証の制約を遅らせる。
通常の分子構成では、$\mathrm{SE}(3)$ quotient は $d_{\mathrm{int}}=d-6$ を与え、相対近似-指数は 6/d_{\mathrm{int}}$ を与える。
C^{p_{\mathrm{eq}}-p_{\mathrm{dense}}}$, $p_j$は計算損失指数であり、プレファクタは損失振幅とFLOPコストに依存する。
ドメインの例は、視覚解像度、コンフォメーションカバレッジ、相関サンプル精度もカバーしている。
関連論文リスト
- SCORE: Spectral Correlation Estimation for Multivariate Gaussians [14.105883070373645]
高次元構造ガウス目標を用いたニューラルネットワークに基づく予測モデルは,共分散行列の効率的かつ数値的に安定な近似を必要とする。
スペクトル空間で学習した表現的共分散近似と、スコアリングルールトレーニングを組み合わせたスケーラブルなフレームワークSCOREを提案する。
一般に仮定されるガウス領域を用いて,様々なタスクにおけるモデルの評価を行い,計算コストの低減による性能向上を示す。
論文 参考訳（メタデータ） (2026-10-08T15:01:56Z) - A Deep Learning Model for Spatially Clustered Data via Differentiable Cluster Assignment [2.5782420501870296]
分割とクラスタ固有の回帰関数を共同で学習するために,非パラメトリック推定器を提案する。
提案手法の有効性と有効性を示すために,実データ解析を行う。
論文 参考訳（メタデータ） (2026-08-15T01:39:56Z) - Exploiting weight-space symmetries for approximating curvature [39.60881703969561]
本研究では,最新のディープネットワークの規模で損失関数の曲率を近似するフレームワークを開発する。
我々のフレームワークは、不確実性推定、連続学習、圧縮/プルーニングなど、他の機械学習問題にも応用できるかもしれない。
論文 参考訳（メタデータ） (2026-05-30T00:17:36Z) - A Theory of Nonparametric Covariance Function Estimation for Discretely Observed Data [0.042970700836450486]
我々は,$d$次元領域上の離散的な位置における雑音で観測された関数データの非パラメトリック共分散関数推定について検討した。
深層学習推定器は、最小値の確率を多対数因子に到達させる。
しかし、構造化関数クラスでは、深層学習推定器はポリ対数因子までミニマックス速度を達成できる。
論文 参考訳（メタデータ） (2026-03-24T15:04:13Z) - Efficient Covariance Estimation for Sparsified Functional Data [51.69796254617083]
共分散関数のランダムノット(ランダムノット-空間)とB-スプライン(Bspline-Spatial)推定器は計算的に効率的である。
共分散の漸近的なポイントワイドは、ある規則性条件下でのスパース化された個々の軌跡に対して得られる。
論文 参考訳（メタデータ） (2025-11-23T00:50:33Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Partially factorized variational inference for high-dimensional mixed models [0.0]
変分推論は、特にベイズ的文脈において、そのような計算を行う一般的な方法である。
標準平均場変動推論は,高次元の後方不確かさを劇的に過小評価することを示した。
次に、平均場仮定を適切に緩和すると、不確実な定量化が高次元で悪化しない手法が導かれることを示す。
論文 参考訳（メタデータ） (2023-12-20T16:12:37Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。