論文の概要: Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization

• arxiv url: http://arxiv.org/abs/2605.12878v1
• Date: Wed, 13 May 2026 01:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.753608
• Title: Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
• Title（参考訳）: Adam-SHANG:確率的滑らかな凸最適化のための収束型アダム型手法
• Authors: Yaxin Yu, Long Chen, Minfu Feng,
• Abstract要約: モーメント,適応型プレコンディショニング,曲率-コンディショナー補正を結合するリアプノフ誘導型アダム方式を提案する。 予測された崩壊を検証する実験は、ディープラーニングタスクにおけるAdamとAdamWに対する競争力のあるトレーニングパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 6.759434764396595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Adam-SHANG, a Lyapunov-guided Adam-type method that couples momentum, adaptive preconditioning, and a curvature-aware correction through a more stable lagged-preconditioner update. For stochastic smooth convex optimization, we prove convergence in expectation under an admissible stepsize condition that can always be satisfied by a conservative spectral bound, without imposing global monotonicity on the second-moment sequence. To obtain a less conservative practical rule, we introduce a computable trace-ratio stepsize, motivated by a local coordinatewise alignment condition. The same structural update is also tested beyond the convex setting with simplified parameters. Experiments validate the predicted stochastic decay and show competitive training performance against Adam and AdamW on deep learning tasks.
• Abstract（参考訳）: 我々は、より安定したラグ・プレコンディショナー更新により、モーメント、適応プレコンディショニング、曲率認識補正を結合するリアプノフ誘導型アダム方式のAdam-SHANGを提案する。 確率的滑らかな凸最適化のために、第2モーメント列に大域的な単調性を与えることなく、常に保守的なスペクトル境界で満たされる許容段階条件下での期待の収束を証明した。 より保守的な実践的ルールを得るために,局所座標整合条件によって動機付けられた計算可能なトレーラ比段差を導入する。 同じ構造的更新も、単純なパラメータで凸設定を越えてテストされる。 予測確率減衰を検証する実験は、ディープラーニングタスクにおいて、AdamとAdamWに対して競争力のあるトレーニング性能を示す。

関連論文リスト

• Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate [7.396660927040262]
  アダムは経験的成功を強く達成しているが、その理論は決定論的完全バッチの設定においても不完全である。 本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。 これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。
  論文  参考訳（メタデータ） (2026-04-09T20:09:24Z)
• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。