論文の概要: Adaptive Runge-Kutta Step Control Buys Training Loss, Not Generalization: An Honest Compute-Matched Study of RK-Adam Optimizers
- arxiv url: http://arxiv.org/abs/2607.14516v1
- Date: Thu, 16 Jul 2026 03:12:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.962626
- Title: Adaptive Runge-Kutta Step Control Buys Training Loss, Not Generalization: An Honest Compute-Matched Study of RK-Adam Optimizers
- Title（参考訳）: Adaptive Runge-Kutta Step Controls Buys Training Loss, not generalization: An Honest Compute-Matched Study of RK-Adamtimizers
- Abstract要約: 我々は代表的アダム変種(Bogacki-Shampine 3(2) RKペア、FSAL再利用、ローカルエラーステップ制御)を構築する。
我々は、全てのメソッドに同じ勾配評価予算を与える厳密な計算整合プロトコルで評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpreting optimizers as gradient-flow discretizations has motivated applying higher-order Runge-Kutta (RK) integrators to neural networks. We build a representative Adam variant (Bogacki-Shampine 3(2) RK pair, FSAL reuse, local-error step control) and evaluate it under a strict compute-matched protocol giving every method the same gradient-evaluation budget - an accounting this literature rarely enforces. Under it the RK variant loses to plain Adam on training loss in both minibatch and full-batch (RK's best-case) training. Instrumenting it shows the "adaptivity" is illusory: normalized error stays far below tolerance, the step size pins at its growth cap from step one (98-100 percent of steps), and no rtol x hmax x h0 setting makes it act; tolerances spanning 100x give bit-identical trajectories. The method is exactly fixed-step Adam with an averaged gradient at 3-4x cost. Repairing it (true reject branch; error on the applied map) reverses the full-batch result - about 40x lower training loss than tuned Adam - and a fixed-step control isolates adaptivity (an emergent warmup-and-growth schedule) as the mechanism. But the gain is fragile to the initial step size and does not reach test accuracy. A pre-registered follow-up rules out the obvious explanations: deeper minimization does not overfit, and an explicit temperature knob only hurts - leaving a trajectory effect, the controller selecting a minimum generalizing 1.3-3.4 points below first-order descent at equal depth. An n=10 study confirms one secondary effect: gradient averaging is a genuine implicit regularizer, beating lr-matched Adam and AdamW on 10/10 seeds - yet RMSprop and NAdam match or beat it at a third the per-step cost. Higher-order adaptive integration buys deeper deterministic minimization and a small regularization effect, but nothing a cheaper, well-tuned first-order baseline does not already provide.
- Abstract（参考訳）: 勾配流の離散化としてオプティマイザを解釈することは、高階ルンゲ・クッタ積分器をニューラルネットワークに適用する動機となっている。
我々は、Adamの代表的な変種(Bogacki-Shampine 3(2) RKペア、FSAL再利用、ローカルエラーステップ制御)を構築し、それを厳密な計算整合プロトコルで評価し、すべてのメソッドに同じ勾配評価予算を与える。
RKの派生型は、ミニバッチとフルバッチ(RKのベストケース)の両方のトレーニングの損失により、普通のアダムに負ける。
正規化エラーは耐久力よりはるかに低く、ステップ1(98-100%のステップ)から成長キャップにステップサイズピンを配置し、rtol x hmax x h0設定が機能しない。
この方法は、平均勾配を3-4倍のコストで正確に固定段階のアダムである。
修正(真の拒絶ブランチ、適用されたマップ上のエラー)は、完全なバッチ結果(チューニングされたAdamの約40倍のトレーニング損失)を反転させ、固定ステップコントロールは、適応性(即時的なウォームアップ・アンド・グローススケジュール)をメカニズムとして分離する。
しかし、利得は最初のステップサイズに脆弱で、テストの精度に達しません。
より深い最小化は過度に適合せず、明示的な温度ノブが傷つくだけであり、軌道効果を残したまま、コントローラーは1階降下の1.3-3.4点を等深度で最小限の一般化を選択する。
n=10の研究では、勾配平均化は真に暗黙の正則化剤であり、RMSpropとNAdamは1ステップあたりのコストの3分の1で、RrマッチングされたAdamとAdamWを10/10の種で打ち負かしている。
高階適応統合はより決定論的最小化と小さな正規化効果を取得するが、より安価でよく調整された1次ベースラインはまだ提供されていない。
関連論文リスト
- SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。
メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。
4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
論文 参考訳（メタデータ） (2026-08-29T21:34:47Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。
補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。
これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
論文 参考訳（メタデータ） (2026-04-19T03:20:40Z) - Improving the Straight-Through Estimator with Zeroth-Order Information [7.09016563801433]
本稿では,量子化パラメータを用いたニューラルネットワークのトレーニング問題について検討する。
我々は、第1次誘導ゼロ階勾配蛍光(FOGZO)を提案する。
FOGZOは、量子化対応事前学習における品質とトレーニング時間のトレードオフを改善することを示す。
論文 参考訳（メタデータ） (2025-10-27T23:14:59Z) - Kourkoutas-Beta: A Sunspike-Driven Adam Optimizer with Desert Flair [0.0]
トランスフォーマーニューラルネットワークは、物理学に基づく問題にますます利用されている。
データ駆動型PDEサロゲートでは、異なる境界と初期条件からのトレーニングサンプルが不規則な損失とスパイク勾配を引き起こす可能性がある。
固定された第2モーメントベータ2がレイヤワイドな値に置き換えられるAdamスタイルの割引であるKourkoutas-Betaを紹介します。
論文 参考訳（メタデータ） (2025-08-18T15:16:54Z) - AdaGC: Improving Training Stability for Large Language Model Pretraining [18.163318397205533]
大きなLanguageText Models(LLM)は、スケーリング中に損失の急増に直面します。
グローバルなクリッピングがこれを緩和する一方で、従来のアプローチは特定のバリエーションを緩和する。
我々は,AdaGCがグローバルクリッピングよりも25%早く収束していることを示す。
論文 参考訳（メタデータ） (2025-02-16T08:13:23Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-11-24T09:28:53Z) - Implicit Bias in Deep Linear Classification: Initialization Scale vs
Training Accuracy [71.25689267025244]
移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。
以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
論文 参考訳（メタデータ） (2020-07-13T23:49:53Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z) - AdamP: Slowing Down the Slowdown for Momentum Optimizers on
Scale-invariant Weights [53.8489656709356]
正規化技術は現代の深層学習の恩恵である。
しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。
本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
論文 参考訳（メタデータ） (2020-06-15T08:35:15Z) - ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。
ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文 参考訳（メタデータ） (2020-06-01T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。