論文の概要: RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization

• arxiv url: http://arxiv.org/abs/2602.06824v1
• Date: Fri, 06 Feb 2026 16:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.474947
• Title: RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization
• Title（参考訳）: RanSOM:制約付きおよび制約なし最適化のためのランダムスケーリング付き2次モーメント
• Authors: El Mahdi Chayti,
• Abstract要約: Polyak's Heavy Ballのようなモメンタム法はディープネットワークのトレーニングの標準であるが、設定の曲率に起因したバイアスに悩まされている。 textbfRanSOMは、決定論的ステップサイズを、平均$_t$で分布から引き出されたランダム化ステップに置き換えることで、このバイアスを解消する統合フレームワークである。 我々はこのフレームワークを,制約のない最適化のための textbfRanSOM-E と制約のない最適化のための textbfRanSOM-B の2つのアルゴリズムでインスタンス化する。
• 参考スコア（独自算出の注目度）: 1.3537117504260623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Momentum methods, such as Polyak's Heavy Ball, are the standard for training deep networks but suffer from curvature-induced bias in stochastic settings, limiting convergence to suboptimal $\mathcal{O}(ε^{-4})$ rates. Existing corrections typically require expensive auxiliary sampling or restrictive smoothness assumptions. We propose \textbf{RanSOM}, a unified framework that eliminates this bias by replacing deterministic step sizes with randomized steps drawn from distributions with mean $η_t$. This modification allows us to leverage Stein-type identities to compute an exact, unbiased estimate of the momentum bias using a single Hessian-vector product computed jointly with the gradient, avoiding auxiliary queries. We instantiate this framework in two algorithms: \textbf{RanSOM-E} for unconstrained optimization (using exponentially distributed steps) and \textbf{RanSOM-B} for constrained optimization (using beta-distributed steps to strictly preserve feasibility). Theoretical analysis confirms that RanSOM recovers the optimal $\mathcal{O}(ε^{-3})$ convergence rate under standard bounded noise, and achieves optimal rates for heavy-tailed noise settings ($p \in (1, 2]$) without requiring gradient clipping.
• Abstract（参考訳）: PolyakのHeavy Ballのようなモメンタム法は、ディープネットワークのトレーニングの標準であるが、確率的設定において曲率によるバイアスに悩まされ、サブ最適$\mathcal{O}(ε^{-4})$レートに収束する。 既存の補正は通常、高価な補助サンプリングや制限的な滑らかさの仮定を必要とする。 我々は,決定論的ステップサイズを,平均$η_t$の分布から引き出されたランダム化ステップに置き換えることで,このバイアスを解消する統一フレームワークである‘textbf{RanSOM} を提案する。 この修正により、ステイン型の恒等性を利用して、勾配とともに計算された1つのヘッセンベクトル積を用いて、モーメントバイアスの正確で偏りのない推定を計算し、補助的なクエリを避けることができる。 我々はこのフレームワークを2つのアルゴリズムでインスタンス化する: 制約のない最適化(指数関数的に分散されたステップ)のための \textbf{RanSOM-E} と制約のある最適化のための \textbf{RanSOM-B} である。 理論的解析により、RanSOMは標準有界雑音下での最適$\mathcal{O}(ε^{-3})$収束率を回復し、勾配クリッピングを必要とせずに重み付き雑音設定(p \in (1, 2]$)に対して最適な速度を達成する。

関連論文リスト

• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Distributed Sparse Regression via Penalization [5.990069843501885]
  エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。 推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。 本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
  論文  参考訳（メタデータ） (2021-11-12T01:51:50Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。