論文の概要: Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
- arxiv url: http://arxiv.org/abs/2508.15071v1
- Date: Wed, 20 Aug 2025 21:14:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-22 16:26:46.096193
- Title: Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
- Title（参考訳）: 最適化の安定性を高める:NGNステップサイズのモーメントアダプタ
- Authors: Rustem Islamov, Niccolo Ajroldi, Antonio Orvieto, Aurelien Lucchi,
- Abstract要約: 運動量と適応的なステップサイズを組み込んだ最適化アルゴリズムは、挑戦的なディープラーニングタスクのパフォーマンスを向上させる。
これらのパラメータのチューニングは、しばしば難しく、リソースを消費し、時間を要する。
本稿では,ステップサイズの選択に対する安定性を向上しつつ,最先端技術の性能に適合するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 11.353151000771582
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern optimization algorithms that incorporate momentum and adaptive step-size offer improved performance in numerous challenging deep learning tasks. However, their effectiveness is often highly sensitive to the choice of hyperparameters, especially the step-size. Tuning these parameters is often difficult, resource-intensive, and time-consuming. Therefore, recent efforts have been directed toward enhancing the stability of optimizers across a wide range of hyperparameter choices [Schaipp et al., 2024]. In this paper, we introduce an algorithm that matches the performance of state-of-the-art optimizers while improving stability to the choice of the step-size hyperparameter through a novel adaptation of the NGN step-size method [Orvieto and Xiao, 2024]. Specifically, we propose a momentum-based version (NGN-M) that attains the standard convergence rate of $\mathcal{O}(1/\sqrt{K})$ under less restrictive assumptions, without the need for interpolation condition or assumptions of bounded stochastic gradients or iterates, in contrast to previous approaches. Additionally, we empirically demonstrate that the combination of the NGN step-size with momentum results in enhanced robustness to the choice of the step-size hyperparameter while delivering performance that is comparable to or surpasses other state-of-the-art optimizers.
- Abstract（参考訳）: モーメントと適応的なステップサイズを組み込んだ最新の最適化アルゴリズムは、多くの難解なディープラーニングタスクのパフォーマンスを向上させる。
しかしながら、それらの効果はしばしばハイパーパラメータの選択、特にステップサイズに非常に敏感である。
これらのパラメータのチューニングは、しばしば難しく、リソース集約的で、時間を要する。
したがって、近年の取り組みは、様々なハイパーパラメータ選択(Schaipp et al , 2024)における最適化器の安定性の向上に向けられている。
本稿では、NGNのステップサイズ法(Orvieto and Xiao, 2024)の新たな適応により、ステップサイズハイパーパラメータの選択に対する安定性を改善しつつ、最先端のオプティマイザの性能にマッチするアルゴリズムを提案する。
具体的には、従来のアプローチとは対照的に、補間条件や有界確率勾配の仮定を必要とせず、より制約の少ない仮定で$\mathcal{O}(1/\sqrt{K})$の標準収束率を達成する運動量ベースのバージョン(NGN-M)を提案する。
さらに、NGNのステップサイズと運動量の組み合わせが、他の最先端オプティマイザに匹敵する性能を提供しながら、ステップサイズハイパーパラメータの選択に堅牢性を高めることを実証的に示す。
関連論文リスト
- Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes [3.246129789918632]
ディープニューラルネットワークのトレーニングは本質的に非最適化問題である。
勾配降下(SGD)のような標準的なアプローチでは、パラメータを同時に更新する必要がある。
そこで本研究では,SAMTを用いた列車最小化手法を提案する。
SAMTは、最先端のメソッドに比べて、パラメータ更新が少なく、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2025-08-06T08:23:38Z) - Hyperparameter Adaptive Search for Surrogate Optimization: A
Self-Adjusting Approach [1.6317061277457001]
サーロゲート最適化(SO)アルゴリズムは高価なブラックボックス関数の最適化を約束している。
提案手法は,各問題とSOアプローチに特有の最も影響力のあるハイパーパラメータを同定し,修正する。
実験により,様々なSOアルゴリズムの性能向上におけるHASSOの有効性が示された。
論文 参考訳（メタデータ） (2023-10-12T01:26:05Z) - Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。
我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。
アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文 参考訳（メタデータ） (2022-10-31T17:59:29Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳（メタデータ） (2021-11-01T15:43:36Z) - Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models [0.2741266294612776]
我々は高次元ランダム最小二乗問題に対して運動量を持つ勾配アルゴリズムのクラスを解析する。
固定運動量パラメータを持つ(小バッチ)運動量では,ステップサイズを正確に調整した場合,SGDよりも実際の性能向上は得られないことを示す。
非強凸条件では、運動量を用いてSGDよりも大きな改善が得られる。
論文 参考訳（メタデータ） (2021-06-07T15:08:24Z) - Fine-Grained $\epsilon$-Margin Closed-Form Stabilization of Parametric
Hawkes Processes [0.0]
本稿では, 単純な安定化手法により, 過度に制限された仮定を伴わずに, MLE最適化の性能が向上することを示す。
MLEの安定バージョンは、いくつかの異なる長さのシーケンスで従来の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2021-05-08T23:49:09Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - On Hyper-parameter Tuning for Stochastic Optimization Algorithms [28.88646928299302]
本稿では,強化学習に基づく最適化アルゴリズムのハイパーパラメータをチューニングするための,最初のアルゴリズムフレームワークを提案する。
提案フレームワークはアルゴリズムにおけるハイパーパラメータチューニングの標準ツールとして利用できる。
論文 参考訳（メタデータ） (2020-03-04T12:29:12Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。