論文の概要: Skaling: Chinchilla's Exponents Meet Kaplan's Coupling
- arxiv url: http://arxiv.org/abs/2608.07222v1
- Date: Fri, 07 Aug 2026 13:38:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.521352
- Title: Skaling: Chinchilla's Exponents Meet Kaplan's Coupling
- Title（参考訳）: チンチラの指数がカプランのカップリングに匹敵する
- Abstract要約: 単一相互作用指数によるモデルキャパシティとデータを結合する機能形式であるスカリング法則を導入する。
この単純な拡張により、平均絶対パーセンテージ誤差(MAPE)は両方のレギュレーションで1.5～3倍減少する。
小規模実験から信頼性の高いパフォーマンス予測を可能にすることで、Skaling法はより堅牢でリソース効率のよいフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 19.21066155468739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural scaling laws are foundational for language model development, yet standard formulations systematically under- and overestimate loss at data-scarce and overtraining extremes. This failure originates in the underlying assumption that model size and training data impact the loss independently. To address this, we introduce the Skaling law, a generalized functional form that couples model capacity and data through a single interaction exponent. This simple extension reduces the Mean Absolute Percentage Error (MAPE) by 1.5-3x across both interpolation and extrapolation regimes. When paired with a sparse grid strategy restricted to low-compute regimes, the Skaling law achieves accurate full-grid extrapolation using approximately 10x less compute than uniform sweeps. By enabling reliable performance prediction from small-scale experiments, the Skaling law provides a more robust and resource-efficient framework for allocating compute budgets in next-generation model training.
- Abstract（参考訳）: ニューラルスケーリング法則は、言語モデル開発の基盤となっているが、標準的な定式化は、データスカースにおける過度な損失と過度なトレーニングにおいて、体系的に過小評価され、過大評価される。
この失敗は、モデルのサイズとトレーニングデータが独立して損失に影響を与えるという前提に基づいている。
これを解決するために,単一相互作用指数によるモデルキャパシティとデータを結合する一般化機能形式であるScaling法則を導入する。
この単純な拡張により、平均絶対パーセンテージ誤差(MAPE)は補間系と補間系の両方で1.5～3倍減少する。
スケーリング法は、スパースグリッド戦略とペアリングした場合、一様スイープの約10倍の計算量で正確な完全グリッド外挿を実現する。
小型実験から信頼性の高い性能予測を可能にすることで、Skaling法は、次世代モデルのトレーニングにおいて計算予算を割り当てるためのより堅牢でリソース効率のよいフレームワークを提供する。
関連論文リスト
- Explaining Data Mixing Scaling Laws [2.1378946778058796]
データミキシングの基礎となる力学を説明する統一的なフレームワークを提案する。
異なるデータ混合物で訓練されたモデルのドメイン損失を管理する2つの重要な要因を同定する。
我々のモデルは、大規模で目に見えないスケールで非常に効果的な混合物を予測し、スケールをまたいだ外挿に成功している。
論文 参考訳（メタデータ） (2026-06-06T13:31:38Z) - Asymmetric Scaling Laws from Sparse Features [2.7838875470471858]
スパースアクティベーションの下でのニューラルスケーリング法則のモデルを導入する。
テスト損失は、しばしばトレーニング入力で観測されない稀な座標によって支配される。
本研究は, 非線形活性化下では, 疎水性による効果が持続することを示す。
論文 参考訳（メタデータ） (2026-05-22T13:00:52Z) - Prescriptive Scaling Laws for Data Constrained Training [21.261009598515066]
トレーニング計算は、高品質なデータの可用性をますます上回っている。
チンチラスケーリング法は、すべてのトレーニングトークンがユニークであると仮定する。
我々のスケーリング法則は、定性的に新しい計算-最適割り当てアドバイスをもたらす。
論文 参考訳（メタデータ） (2026-05-02T23:14:20Z) - Neural Neural Scaling Laws [40.38002195911611]
我々は,時系列外挿としてスケール法則を予測するニューラルネットワークであるNeuNeu(NeuNeu)を提案する。
NeuNeuは66の下流タスクでモデル精度を予測する場合、2.04%の平均絶対誤差を達成している。
我々の研究は、データから直接下流のスケーリング法則を予測することはパラメトリックな代替法よりも優れていることを示唆している。
論文 参考訳（メタデータ） (2026-01-27T17:38:11Z) - Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。
生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文 参考訳（メタデータ） (2025-10-16T03:37:16Z) - Unified Scaling Laws for Compressed Representations [69.72517034565467]
各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。
我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。
我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
論文 参考訳（メタデータ） (2025-06-02T16:52:51Z) - The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。
総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。
本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
論文 参考訳（メタデータ） (2025-01-21T20:23:22Z) - A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。
モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。
本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
論文 参考訳（メタデータ） (2023-03-02T21:48:22Z) - Distributed Pruning Towards Tiny Neural Networks in Federated Learning [12.63559789381064]
FedTinyは、フェデレートラーニングのための分散プルーニングフレームワークである。
メモリとコンピューティングに制約のあるデバイスのための、特殊な小さなモデルを生成する。
2.61%の精度向上を実現し、計算コストを95.91%削減した。
論文 参考訳（メタデータ） (2022-12-05T01:58:45Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳（メタデータ） (2022-10-30T15:13:18Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。