論文の概要: When and How SignSGD Outperforms SGD: A Functional Scaling Law Perspective
- arxiv url: http://arxiv.org/abs/2611.16560v1
- Date: Thu, 12 Nov 2026 09:47:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.41781
- Title: When and How SignSGD Outperforms SGD: A Functional Scaling Law Perspective
- Title(参考訳): SignSGDがSGDより優れている時期と方法: 機能的スケーリング法則の観点から
- Abstract要約: 我々は,手話演算子が勾配雑音と相互作用し,手話の学習力学とスケーリングの挙動をモデル化する方法について検討する。
我々は、一般学習率のスケジュールの下でSignSGDの関数スケーリング法則を確立する。
- 参考スコア(独自算出の注目度): 22.13670427694404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study how the sign operator interacts with gradient noise to shape the learning dynamics and scaling behavior of sign-based optimizers. In power-law kernel regression with diagonal features, we establish a functional scaling law (FSL) for SignSGD under general learning rate schedules. The FSL describes the learning dynamics through two processes: signal learning and noise forgetting. The key mechanism is noise-induced preconditioning: gradient noise smooths the sign operator, inducing an effective preconditioned SGD. Noise-curvature alignment enables this preconditioning to transform the effective Hessian from $\mathbf{H}$ to $\mathbf{H}^{1/2}$. The resulting dynamics exhibit faster signal learning but slower noise forgetting than SGD. This tradeoff yields a regime-dependent comparison with SGD: (i) SignSGD achieves improved data efficiency in the hard-task regime; (ii) both optimizers achieve the same data efficiency in the easy-task regime, but SignSGD maintains this efficiency at larger batch sizes, requiring fewer optimization steps for a fixed data budget. Power-law kernel regression experiments support the proposed mechanism and predicted scaling behavior. LLM pre-training experiments further suggest that the SignSGD FSL better captures the batch-size dependence of loss dynamics for sign-based optimizers than the original SGD FSL.
- Abstract(参考訳): 我々は,手話演算子が勾配雑音と相互作用し,手話に基づくオプティマイザの学習力学とスケーリング挙動をモデル化する方法について検討する。
対角的特徴を持つパワーローカーネル回帰では、一般学習率のスケジュールの下でSignSGDの関数スケーリング法則(FSL)を確立する。
FSLは信号学習と雑音の忘れという2つのプロセスを通して学習力学を記述する。
グラデーションノイズは信号演算子を滑らかにし、効果的な事前条件付きSGDを誘導する。
ノイズ曲率アライメントにより、このプレコンディショニングにより、有効ヘッセンを $\mathbf{H}$ から $\mathbf{H}^{1/2}$ に変換することができる。
その結果、信号の学習速度はSGDよりも速いが、ノイズの忘れは遅い。
このトレードオフは、SGDと状態依存的な比較をもたらす。
(i)SignSGDは、ハードタスク体制において改善されたデータ効率を達成する。
しかしSignSGDはこの効率をより大きなバッチサイズで維持し、固定データ予算の最適化ステップを少なくする。
パワーローカーネル回帰実験は、提案されたメカニズムをサポートし、スケーリングの振る舞いを予測する。
LLM事前学習実験により、SignSGD FSLは、元のSGD FSLよりも符号ベースのオプティマイザにおける損失ダイナミクスのバッチサイズ依存性をよりよく捉えることが示唆された。
関連論文リスト
- SAW: Stage-Aware Dynamic Weighting for Multi-Objective Reinforcement Learning in Large Language Models [66.92079232778707]
本稿では,アルゴリズムに依存しない軽量な動的重み付け機構として,SAW(Stage-Aware Dynamic Weighting)を提案する。
SAWは、各次元の報酬または利益の貢献を、バッチ内の相対的な情報性によって重み付けする。
ツールコールとテキスト要約タスクの実験により、SAWはトレーニング効率と最終的なパフォーマンスの両方を一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-06-05T10:00:19Z) - On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD [93.70725920710208]
ラベル雑音による勾配降下の学習力学について検討する。
遅延からリッチな体制への移行を駆動する上で,ラベルノイズが重要な役割を担っていることを強調する。
これらの知見をSAM(Sharpness-Aware Minimization)に拡張し、ラベルノイズSGDを規定する原理がより広範な最適化アルゴリズムにも適用可能であることを示す。
論文 参考訳(メタデータ) (2026-03-11T04:26:54Z) - Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD? [35.79321975718977]
本稿では,PRO(Power-law random features)モデルを用いて,SingSGDのスケーリング法則について検討する。
本研究では,1パス符号SGDで訓練した線形モデルの集団リスクをガウス的特徴量に基づいて解析する。
論文 参考訳(メタデータ) (2026-03-02T16:58:02Z) - Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。
FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。
推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
論文 参考訳(メタデータ) (2026-02-12T18:54:57Z) - Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。
我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。
データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
論文 参考訳(メタデータ) (2025-09-23T16:05:16Z) - Spectral Logit Sculpting: Adaptive Low-Rank Logit Transformation for Controlled Text Generation [21.76979685109612]
エントロピーに基づく推論手法は,Large Language Models (LLMs) の信頼性向上のために注目を集めている。
本稿では,近年のロジットのスペクトル特性とエントロピー特性を用いて,トークン分布を動的に変調する軽量な推論時間最適化手法であるSLSを提案する。
SLSは既存のベースライン法を一貫して上回り、数学的、コーディング、科学的推論のタスクにおいて優れた精度を達成している。
論文 参考訳(メタデータ) (2025-09-19T04:17:46Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning
and Autoregression [70.78523583702209]
深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。
トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
論文 参考訳(メタデータ) (2023-10-17T17:39:40Z) - Direction Matters: On the Implicit Bias of Stochastic Gradient Descent
with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。
SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文 参考訳(メタデータ) (2020-11-04T21:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。