論文の概要: Ada2MS: A Hybrid Optimization Algorithm Based on Exponential Mixing of Elementwise and Global Second-Moment Estimates

• arxiv url: http://arxiv.org/abs/2605.20533v1
• Date: Tue, 19 May 2026 22:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.395811
• Title: Ada2MS: A Hybrid Optimization Algorithm Based on Exponential Mixing of Elementwise and Global Second-Moment Estimates
• Title（参考訳）: Ada2MS: 要素とグローバルな第2モーメント推定の指数混合に基づくハイブリッド最適化アルゴリズム
• Authors: Meng Zhu, Quan Xiao, Weidong Min,
• Abstract要約: 本稿では,AdamW-like挙動と運動量-SGD-like挙動のスムーズな遷移を実現する最適化アルゴリズムであるAda2MSを提案する。 本研究で評価された視覚的タスクについて,Ada2MSは統合比較プロトコルの下で競合する結果を得る。
• 参考スコア（独自算出の注目度）: 13.40796672049436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization algorithms are core methods by which machine learning models iteratively minimize loss functions, update parameters, learn from data, and improve performance. Momentum SGD and AdamW represent two important optimization paradigms. AdamW produces stable updates and usually has strong robustness across training scenarios, but its generalization performance is sometimes weaker than that of momentum methods. Momentum SGD can often obtain better generalization after careful tuning, but it is more sensitive to gradient-scale variation and hyperparameter settings. To balance the strengths and weaknesses of the two paradigms, this paper proposes Ada2MS, an optimization algorithm that achieves a smooth transition between AdamW-like behavior and momentum-SGD-like behavior through continuous exponential interpolation between elementwise second-moment estimates and global second-moment estimates. On the visual tasks evaluated in this study, Ada2MS obtains competitive results under a unified optimizer-comparison protocol. The code will be released at https://github.com/mengzhu0308/Ada2MS
• Abstract（参考訳）: 最適化アルゴリズムは、機械学習モデルが損失関数を反復的に最小化し、パラメータを更新し、データから学習し、パフォーマンスを改善するためのコア手法である。 モメンタムSGDとAdamWは2つの重要な最適化パラダイムを表している。 AdamWは安定した更新を生成し、トレーニングシナリオ全体で強い堅牢性を持つが、その一般化性能は運動量法よりも弱いことがある。 モメンタムSGDは、注意深いチューニング後により良い一般化を得ることができるが、勾配スケールの変動やハイパーパラメータの設定に敏感である。 本稿では,AdaW-likeの挙動と運動量-SGD-likeの挙動のスムーズな遷移を実現する最適化アルゴリズムであるAda2MSを提案する。 本研究で評価された視覚的タスクについて,Ada2MSは統一されたオプティマイザ比較プロトコルの下で競合する結果を得る。 コードはhttps://github.com/mengzhu0308/Ada2MSでリリースされる。

関連論文リスト

• AdamNX: An Adam improvement algorithm based on a novel exponential decay mechanism for the second-order moment estimate [13.40796672049436]
  AdamNXアルゴリズムは局所的および大域的ミニマに高次元最適化を収束させるために提案されている。 その中心となる革新は、新しいタイプの2階モーメント推定指数減衰率の提案にある。 その結果, 2次モーメント推定指数減衰速度は, 現在の2次モーメント推定指数減衰速度よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-11-17T15:07:55Z)
• PADAM: Parallel averaged Adam reduces the error for stochastic optimization in scientific machine learning [5.052293146674794]
  Ruppert-Polyak平均化や指数移動平均化(EMA)といった平均化技術は、一般的なADAMのような勾配降下(SGD)最適化手法の最適化を高速化するための強力なアプローチである。 本研究では,並列平均化ADAM(PADAM)と呼ばれる並列平均化手法を提案する。この手法では,ADAMの並列平均化変動を計算し,トレーニングプロセス中に最小の最適化誤差で勾配を動的に選択する。
  論文  参考訳（メタデータ） (2025-05-28T08:07:34Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。