論文の概要: Foundations of the Scaling Law

• arxiv url: http://arxiv.org/abs/2610.27789v1
• Date: Tue, 20 Oct 2026 07:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.704146
• Title: Foundations of the Scaling Law
• Title（参考訳）: スケーリング法の基礎
• Abstract要約: 実証的なスケーリング法則は、バリデーション損失をモデルサイズ、トレーニング露出、計算に関連付ける。 この技術的ノートは、これらの関係を3つの関連した分析を通して説明している。
• 参考スコア（独自算出の注目度）: 4.431432515373321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical scaling laws relate validation loss to model size, training exposure and compute, providing a quantitative basis for allocating resources. This technical note explains these relationships through three linked analyses. Geometric approximation connects spatial resolution, intrinsic dimension and smoothness to function error; the loss function determines how that error transfers to task risk. Spectral analysis combines feature visibility, covariance eigenvalues and target alignment to describe how additional data reduce unresolved predictive mass. Constrained optimization then gives the parameter-data balance and the training-inference trade-off. We also examine emergence and grokking, separating scoring thresholds from learning dynamics, and test-time scaling, separating candidate coverage from selected-answer accuracy. Applications to vision and molecular prediction show how domain-specific coordinates change the resource comparison. An $\mathrm{SE}(3)$ case study quantifies the dimension dependence of quotient-space approximation gains and compares optimized compute frontiers, alongside separate analyses of conformational coverage and correlated-sample precision.
• Abstract（参考訳）: 実証的なスケーリング法則は、バリデーション損失をモデルのサイズ、トレーニングの露出、計算に関連し、リソースを割り当てるための定量的な基盤を提供する。 この技術的ノートは、これらの関係を3つの関連した分析を通して説明している。 幾何学的近似は空間分解能、内在次元、滑らかさを関数エラーに結びつける。 スペクトル分析は、特徴可視性、共分散固有値、ターゲットアライメントを組み合わせて、追加データが未解決の予測質量を減らす方法を記述する。 制約付き最適化はパラメータとデータバランスとトレーニングと推論のトレードオフを与える。 また、出現とグルーキング、スコアリングしきい値と学習力学の分離、テスト時間スケーリング、候補カバレッジと選択された回答精度の分離についても検討した。 ビジョンと分子予測への応用は、ドメイン固有の座標がどのようにリソース比較を変えるかを示す。 $\mathrm{SE}(3)$のケーススタディでは、商空間近似ゲインの次元依存性を定量化し、コンフォメーションカバレッジと相関サンプル精度の別個の解析とともに最適化された計算フロンティアを比較する。

関連論文リスト

• SCORE: Spectral Correlation Estimation for Multivariate Gaussians [14.105883070373645]
  高次元構造ガウス目標を用いたニューラルネットワークに基づく予測モデルは,共分散行列の効率的かつ数値的に安定な近似を必要とする。 スペクトル空間で学習した表現的共分散近似と、スコアリングルールトレーニングを組み合わせたスケーラブルなフレームワークSCOREを提案する。 一般に仮定されるガウス領域を用いて,様々なタスクにおけるモデルの評価を行い,計算コストの低減による性能向上を示す。
  論文  参考訳（メタデータ） (2026-10-08T15:01:56Z)
• A Deep Learning Model for Spatially Clustered Data via Differentiable Cluster Assignment [2.5782420501870296]
  分割とクラスタ固有の回帰関数を共同で学習するために,非パラメトリック推定器を提案する。 提案手法の有効性と有効性を示すために,実データ解析を行う。
  論文  参考訳（メタデータ） (2026-08-15T01:39:56Z)
• Exploiting weight-space symmetries for approximating curvature [39.60881703969561]
  本研究では,最新のディープネットワークの規模で損失関数の曲率を近似するフレームワークを開発する。 我々のフレームワークは、不確実性推定、連続学習、圧縮/プルーニングなど、他の機械学習問題にも応用できるかもしれない。
  論文  参考訳（メタデータ） (2026-05-30T00:17:36Z)
• A Theory of Nonparametric Covariance Function Estimation for Discretely Observed Data [0.042970700836450486]
  我々は,$d$次元領域上の離散的な位置における雑音で観測された関数データの非パラメトリック共分散関数推定について検討した。 深層学習推定器は、最小値の確率を多対数因子に到達させる。 しかし、構造化関数クラスでは、深層学習推定器はポリ対数因子までミニマックス速度を達成できる。
  論文  参考訳（メタデータ） (2026-03-24T15:04:13Z)
• Efficient Covariance Estimation for Sparsified Functional Data [51.69796254617083]
  共分散関数のランダムノット(ランダムノット-空間)とB-スプライン(Bspline-Spatial)推定器は計算的に効率的である。 共分散の漸近的なポイントワイドは、ある規則性条件下でのスパース化された個々の軌跡に対して得られる。
  論文  参考訳（メタデータ） (2025-11-23T00:50:33Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Partially factorized variational inference for high-dimensional mixed models [0.0]
  変分推論は、特にベイズ的文脈において、そのような計算を行う一般的な方法である。 標準平均場変動推論は,高次元の後方不確かさを劇的に過小評価することを示した。 次に、平均場仮定を適切に緩和すると、不確実な定量化が高次元で悪化しない手法が導かれることを示す。
  論文  参考訳（メタデータ） (2023-12-20T16:12:37Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。