論文の概要: When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay

• arxiv url: http://arxiv.org/abs/2609.09116v1
• Date: Tue, 08 Sep 2026 17:46:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.708183
• Title: When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay
• Title（参考訳）: スケール不変最適化はいつ不安定になるのか? - 軽量化を伴う厳密なスケジュール法則
• Abstract要約: 標準成長は、反対の幾何学的自己整合効果を誘導する一方、1つの量で全てのスケジュールと崩壊の強制を捉えていることを示す。 これは、収縮と拡張が支配する効果的な学習率体制をきれいに分離する鋭い境界をもたらす。
• 参考スコア（独自算出の注目度）: 6.625270757109195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalization renders large parts of neural networks effectively scale invariant, inducing a hidden feedback loop in which learning-rate schedules and weight decay interact through the parameter norm to control the effective step taken by the optimizer. We show that this interaction is governed by an exact discrete-time law: a single scalar quantity captures all schedule and decay forcing, while norm growth induces an opposing geometric self-quenching effect. This yields a sharp boundary that cleanly separates contraction- and expansion-dominated effective learning rate regimes. To understand the underlying mechanism, we provide exact analysis of a fully solved normalized regression model where the dynamics reduce to two dimensions and show that the balance point is intrinsically unstable, implying that constant learning rate with weight decay cannot stably maintain an interior equilibrium and instead produces recurrent behavior driven by discrete-time Jacobian structure. We further extend this perspective across optimizers through unified homogeneous-optimizer framework that reveals a structural dichotomy in self-quenching strength, providing a first-principles explanation for why adaptive methods exhibit systematically weaker stabilization under normalization. Across dynamical systems and neural networks (MLP, CNN, GPT2 / MNIST, CIFAR, wikiText, OpenWebText), the predicted law holds with high precision and enables direct control of training via the identified scalar, with performance peaking sharply at the predicted boundary. Together, these results isolate a single governing quantity for scale-invariant optimization, providing a precise and actionable lens on training dynamics, optimizer behavior, and schedule design in modern deep learning. Code is available in https://github.com/shasanamin/normalized-optimization-dynamics.
• Abstract（参考訳）: 正規化は、ニューラルネットワークの大部分が不変性を効果的に拡張し、学習速度のスケジュールと重み付けがパラメータノルムを介して相互作用し、オプティマイザによって取られた効果的なステップを制御する、隠れたフィードバックループを誘導する。 単一のスカラー量はすべてのスケジュールと崩壊の強制をキャプチャし、ノルム成長は反対の幾何学的自己加熱効果を誘導する。 これは、収縮と拡張が支配する効果的な学習率体制をきれいに分離する鋭い境界をもたらす。 基礎となるメカニズムを理解するために、力学が2次元に減少する完全解正規化回帰モデルの正確な解析を行い、バランス点が本質的に不安定であることを示し、重み付き学習速度が安定して内部平衡を維持することができず、離散時間ジャコビアン構造によって駆動される繰り返し挙動を生成することを示唆する。 さらに、最適化手法が正規化の下で体系的により弱い安定化を示す理由を第一原理として、自己焼入れ強度における構造的二分法を明らかにする統一均質最適化フレームワークにより、最適化者間のこの視点をさらに拡張する。 動的システムとニューラルネットワーク(MLP, CNN, GPT2 / MNIST, CIFAR, wikiText, OpenWebText)全体にわたって、予測された法則は高い精度で保持され、特定されたスカラーを介してトレーニングを直接制御でき、予測された境界で性能が急上昇する。 これらの結果とともに、スケール不変最適化のための単一の管理量を分離し、現代のディープラーニングにおけるトレーニング力学、最適化動作、スケジュール設計の正確かつ実用的なレンズを提供する。 コードはhttps://github.com/shasanamin/normalized-optimization-dynamicsで入手できる。

関連論文リスト

• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• Physics-Aware Sparse Learning and Selective Online Adaptation for Euler-Lagrange Robot Dynamics [3.247008128557575]
  学習に基づくほとんどの補正手法は, 1つの加算残差を導入することにより, 予測精度を向上させる。 本稿では,モデルミスマッチを慣性補正,対応するコリオリ項,一般化力残差に分解する構造保存残差学習フレームワークを提案する。 移動・航空・マニピュレータシステムを含む複数のロボットプラットフォームを対象とした実験により, 提案手法は, 結合および時間変化の動的条件下での動的予測と軌道追跡を改善することを示した。
  論文  参考訳（メタデータ） (2026-06-08T15:36:00Z)
• StableGrad: Backward Scale Control without Batch Normalization [1.1145952934885128]
  非常に深いニューラルネットワークを訓練するには、深さにわたる大きさの伝搬を制御する必要がある。 現代のアーキテクチャは、しばしばバッチ正規化、残留接続、その他の正規化レイヤを通じてこの問題を軽減する。 我々は、前方モデルを変更することなく、階層的な重み付け不均衡を補正する別のメカニズムであるStableGradを提案する。
  論文  参考訳（メタデータ） (2026-05-19T13:49:30Z)
• Neural Control: Adjoint Learning Through Equilibrium Constraints [7.41073008855977]
  トラジェクトリに依存した,メモリ効率のよいプロキシ勾配を演算する境界制御フレームワークを提案する。 本研究では,SPSAやCEMなどの勾配のないベースラインの性能向上を示す。
  論文  参考訳（メタデータ） (2026-05-05T02:19:37Z)
• JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization [0.0]
  Jacobian-Adaptive Weighting for Stability (JAWS)は、これらの制限を軽減するために設計された確率的正規化戦略である。 空間的不確実性を伴う最大Aポストエリオーリ(MAP)推定として演算子学習をフレーミングすることにより、JAWSは局所的な物理的複雑さに基づいて正規化強度を動的に変調する。 実験により、この空間適応型プリコンディショナーが有効スペクトルプレコンディショナーとして機能し、高周波不安定性を扱う際のベースオペレータの負担を軽減することが示されている。
  論文  参考訳（メタデータ） (2026-03-04T06:15:09Z)
• Knob: A Physics-Inspired Gating Interface for Interpretable and Controllable Neural Dynamics [7.965536008626047]
  Knobは、ディープラーニングと古典的な制御理論を結びつけるフレームワークである。 我々のフレームワークは、慣れ親しんだ物理アナログを通して「安定性」と「感度」をチューニングできる。
  論文  参考訳（メタデータ） (2026-02-26T07:25:22Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations [11.1057367593811]
  ソボレフ空間における学習関数を円滑に活性化するニューラルネットワークの近似と統計的性質について検討した。 本研究では,スムーズなアクティベーションを備えた定数深度ネットワークが,スムーズな適応性を実現することを証明した。 本稿では,ソボレフ関数クラスに対する最適速度を達成するための基本的なメカニズムとして,活性化の滑らかさを同定する。
  論文  参考訳（メタデータ） (2026-02-23T10:38:12Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。