論文の概要: HOME-3: High-Order Momentum Estimator with Third-Power Gradient for Convex and Smooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2505.11748v1
• Date: Fri, 16 May 2025 23:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.82236
• Title: HOME-3: High-Order Momentum Estimator with Third-Power Gradient for Convex and Smooth Nonconvex Optimization
• Title（参考訳）: HOME-3: 凸・平滑非凸最適化のための第3パワー勾配を用いた高次モーメント推定器
• Authors: Wei Zhang, Arif Hassan Zidan, Afrar Jahin, Yu Bao, Tianming Liu,
• Abstract要約: モメンタムベースの機械学習モデルは、高度な機械学習モデルの最適化に不可欠である。 我々の研究は、このアプローチに対する理論的支援と実証的支援の両方を提供する。 いずれの場合も、高次勾配は従来の低次運動量より一貫して優れる。
• 参考スコア（独自算出の注目度）: 15.960271016276447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Momentum-based gradients are essential for optimizing advanced machine learning models, as they not only accelerate convergence but also advance optimizers to escape stationary points. While most state-of-the-art momentum techniques utilize lower-order gradients, such as the squared first-order gradient, there has been limited exploration of higher-order gradients, particularly those raised to powers greater than two. In this work, we introduce the concept of high-order momentum, where momentum is constructed using higher-power gradients, with a focus on the third-power of the first-order gradient as a representative case. Our research offers both theoretical and empirical support for this approach. Theoretically, we demonstrate that incorporating third-power gradients can improve the convergence bounds of gradient-based optimizers for both convex and smooth nonconvex problems. Empirically, we validate these findings through extensive experiments across convex, smooth nonconvex, and nonsmooth nonconvex optimization tasks. Across all cases, high-order momentum consistently outperforms conventional low-order momentum methods, showcasing superior performance in various optimization problems.
• Abstract（参考訳）: モーメントベース勾配は、収束を加速するだけでなく、定常点から逃れるための最適化を前進させるため、高度な機械学習モデルを最適化するために不可欠である。 最先端の運動量技術の多くは、二乗一階勾配のような低階勾配を利用するが、高階勾配の探索は限られている。 本研究では,高次勾配を代表例として,高次勾配を用いた高次運動量の概念を導入する。 我々の研究は、このアプローチに対する理論的および実証的なサポートを提供する。 理論的には、三次勾配を組み込むことで、凸問題と滑らかな非凸問題の両方に対して勾配に基づく最適化器の収束境界を改善することができる。 実験により, 円錐, 滑らかな非凸, 非平滑な非凸最適化タスクにまたがる広範な実験により, これらの知見を検証した。 いずれの場合も、高次運動量は従来の低次運動量法よりも一貫して優れており、様々な最適化問題において優れた性能を示す。

関連論文リスト

• High Probability Analysis for Non-Convex Stochastic Optimization with Clipping [13.025261730510847]
  勾配クリッピングは重み付きニューラルネットワークを扱う技術である。 ほとんどの理論上の保証は、予測外解析のみを提供し、性能のみを提供する。 我々の分析は、勾配クリッピングによる最適化アルゴリズムの理論的保証について、比較的完全な図を提供している。
  論文  参考訳（メタデータ） (2023-07-25T17:36:56Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Optimization without Backpropagation [0.0]
  前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。 我々は、最良近似前方勾配を得る最適条件を導出する。
  論文  参考訳（メタデータ） (2022-09-13T21:09:34Z)
• Tight Convergence Rate Bounds for Optimization Under Power Law Spectral Conditions [15.25021403154845]
  スペクトルの所定の形状に対して、最適に加速された方法、そのスケジュール、収束上限が統一的に得られるかを示す。 実験により、得られた収束境界と加速度戦略は、正確に2次最適化問題に関係しているだけでなく、ニューラルネットワークのトレーニングに適用した場合にもかなり正確であることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T12:24:03Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。