論文の概要: Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding

• arxiv url: http://arxiv.org/abs/2610.41074v1
• Date: Thu, 29 Oct 2026 23:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.554841
• Title: Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding
• Title（参考訳）: 確率ラウンドリングによるSGDのスケーリング法則
• Abstract要約: 低精度トレーニングは計算を減少させるが、追加の丸め誤差を導入する。 本稿では,計算のラウンドリングがモデルサイズ,トレーニング時間,精度変化などの予測リスクに与える影響を理論的に検討する。
• 参考スコア（独自算出の注目度）: 50.73855299805472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision training reduces computation but introduces additional rounding error. We theoretically study how stochastic rounding (SR) affects prediction risk as model size, training time, and precision change. We consider a two-layer linear network with a fixed random first layer, trained by mini-batch SGD on fresh Gaussian data with power-law spectra. At each SGD step, the features used in forward and backward computations are rounded independently. We prove matched upper and lower bounds on prediction error for the final model and for uniform parameter averaging, with general learning-rate and precision schedules chosen before training. For fixed precisions and constant learning rates with parameter averaging, we derive how the smallest prediction error decreases with compute, and we identify model sizes and training times that achieve this optimal-compute scaling. Rounding only the forward features preserves the compute scaling of exact arithmetic, while rounding backward features changes it. Averaging parameters can change which computation needs higher precision and when higher precision is useful. Our results also give bit requirements for a given accuracy tolerance and show how backward rounding can change learning-rate schedule design. At a fixed compute budget, lower precision can improve prediction when the benefit of a larger model or longer training outweighs the additional SR-induced error. Model simulations illustrate these tradeoffs, and experiments with an MLP and a small transformer examine rounding choices beyond the theoretical model.
• Abstract（参考訳）: 低精度トレーニングは計算を減少させるが、追加の丸め誤差を導入する。 統計的ラウンドリング(SR)がモデルサイズ,トレーニング時間,精度変化などの予測リスクに与える影響を理論的に検討する。 そこで我々は,新しいガウススペクトルを用いてSGDをミニバッチで学習し,ランダムな第1層を固定した2層線形ネットワークを考察した。 各SGDステップでは、前方および後方の計算で使用される機能は独立して丸められる。 最終モデルと一様パラメータ平均化の予測誤差に対して,学習前に選択した一般学習率と精度のスケジュールで一致した上と下の境界を証明した。 パラメータ平均化による固定精度と定常学習率について、最小の予測誤差が計算によってどのように減少するかを導出し、この最適計算スケーリングを実現するためのモデルサイズとトレーニング時間を同定する。 前方機能のみを丸めれば正確な算術の計算スケーリングが保たれ、後方機能も変化する。 平均パラメーターは、どの計算により高い精度が必要か、さらに高い精度が有用かを変更することができる。 また,得られた精度の許容度に若干の要件を与え,学習速度のスケジュール設計を後方ラウンドでどのように変えるかを示す。 固定された計算予算では、より大きいモデルやより長いトレーニングの利点が追加のSR誘発誤差を上回る場合、より低い精度で予測を改善することができる。 モデルシミュレーションではこれらのトレードオフが説明され、MLPと小型変圧器を用いた実験では、理論モデルを超えた丸い選択が検討されている。

関連論文リスト

• Randomized neural operator for parametric PDEs with fast training and conformal uncertainty quantification [47.720075875232226]
  我々は,PCAに基づく次元還元と固定ランダム特徴を組み合わせたニューラル演算子であるPCA-RaNNを紹介する。 演算子学習を固定回帰として再キャストし、遅延回帰を3桁まで削減する。
  論文  参考訳（メタデータ） (2026-06-28T15:02:26Z)
• Automatic mixed precision for optimizing gained time with constrained loss mean-squared-error based on model partition to sequential sub-graphs [0.8999666725996975]
  混合精度(MP)は、ネットワーク層間での数値的精度の変化によってトレードオフを緩和する。 本研究では,PTQ(Post-Training Quantization)内の最適なMP構成を自動的に選択することに焦点を当てた。
  論文  参考訳（メタデータ） (2025-05-19T12:51:02Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction [36.605153166169224]
  埋め込みテーブルは通常、クリックスルーレート(CTR)予測モデルにおいて巨大である。 我々は,低精度トレーニング(low-precision training)と呼ばれる,新しい量子化トレーニングパラダイムを定式化して,埋め込みをトレーニング段階から圧縮する。 CTRモデルでは,予測精度を犠牲にすることなく8ビット埋め込みのトレーニングに成功した。
  論文  参考訳（メタデータ） (2022-12-12T07:19:14Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。