論文の概要: Adaptive Variance Reduction without Knowing Oracle Smoothness

• arxiv url: http://arxiv.org/abs/2610.13799v1
• Date: Fri, 09 Oct 2026 16:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.682268
• Title: Adaptive Variance Reduction without Knowing Oracle Smoothness
• Title（参考訳）: Oracle Smoothnessを知らない適応変数の削減
• Abstract要約: 1つのアルゴリズムが定数や分散を知らずに2つの滑らかな設定とノイズのない設定にどのように適応できるかを示す。 AdaGrad-Norm を標準の滑らかさとノイズのない設定に使用した。
• 参考スコア（独自算出の注目度）: 31.539280642509357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variance reduction improves the convergence rate of stochastic non-convex optimization under the average smoothness condition. Existing adaptive variance reduction methods are especially designed for average smoothness and do not adapt to standard smoothness. In this paper, we study how one algorithm can adapt to these two settings and the noiseless setting without knowing the smoothness constants or the variance bound. Given the gradient budget $T$, we develop a two-phase method. The first phase compares two independent gradients and switches to normalized momentum when their difference exceeds a threshold. This phase provides both a candidate with standard smooth and noiseless guarantees and also ensures a bounded expected function gap for the second variance reduction phase. The resulting rates are $O(T^{-1/3})$ under average smoothness, $O(T^{-1/4})$ under standard smoothness, and $O(T^{-1/2})$ without noise. When $T$ is unknown, we propose a method with two paths that attain the corresponding rates with logarithmic factors in the stochastic settings. Here, we use a variance reduction path to deal with average smoothness and employ the AdaGrad-Norm for standard smoothness and noiseless setting. Neither method restarts from the initial point or requires a growing number of oracle calls in each round.
• Abstract（参考訳）: ばらつき低減は, 平均滑らか度条件下での確率的非凸最適化の収束率を向上させる。 既存の適応分散低減法は、特に平均的な滑らかさのために設計されており、標準の滑らかさには適応しない。 本稿では,この2つの設定とノイズのない設定に,その滑らかさ定数や分散境界を知らずに適応できるアルゴリズムについて検討する。 勾配予算が$T$の場合、我々は二相法を開発する。 第1フェーズは2つの独立した勾配を比較し、その差が閾値を超えると正規化された運動量に切り替える。 このフェーズは、標準の滑らかかつノイズのない保証を持つ候補と、第2の分散還元位相に対する有界期待関数ギャップを保証します。 平均滑らか度では$O(T^{-1/3})$、標準滑らか度では$O(T^{-1/4})$、ノイズなしで$O(T^{-1/2})$である。 T$が不明な場合、確率的設定における対数係数に対応する2つの経路を持つ手法を提案する。 本稿では, 平均滑らか度を扱うために分散低減経路を用い, AdaGrad-Norm を標準滑らか度およびノイズレス設定に用いる。 いずれのメソッドも初期点から再起動するか、あるいは各ラウンドでより多くのオラクル呼び出しを必要としない。

関連論文リスト

• A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization [66.48718943929202]
  非強凸二値問題の場合、既存の一階法はネストループに依存するのが一般的である。 2つの相補成分を組み合わせたSingle-loop Constant-1次ペナルティ法(ICOS)を提案する。
  論文  参考訳（メタデータ） (2026-10-05T19:26:20Z)
• OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
  閉ループスカラー運動量を示す。 最適化はムオン型運動量と組み合わせることができる。 雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。 これらの結果は,OptMuon-Aがノイズレートを達成することを示す。 (T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。 (T-1/2+)
  論文  参考訳（メタデータ） (2026-06-07T18:59:24Z)
• Beyond Bounded Variance: Variance-Reduced Normalized Methods for Nonconvex Optimization under Blum-Gladyshev Noise [7.692336118507715]
  我々は,Blum-Gladyshev(mathsfBG$-0)ノイズモデルの下での非線形最適化について検討した。 モーメント付き正規化勾配降下は、勾配毎のパラメータを1つだけ使い、複雑さが$O(varepsilon-6)$で$mathsfBG$-0ノイズの下に収束することを示す。
  論文  参考訳（メタデータ） (2026-05-14T18:27:49Z)
• OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
  我々はOptEMAを導入し、OptEMA-MとOptEMA-Vの2つの新しい変種を分析した。 OptEMA は閉ループであり、その実効的な階段化は軌道依存であり、パラメータ化にリプシッツ定数を必要としないという意味でリプシッツ自由である。 どちらの変種も平均勾配ノルムに対して$widetildemathcalO(T-1/2+1/2 T-1/4)$の雑音適応収束率を得る。
  論文  参考訳（メタデータ） (2026-03-10T17:19:54Z)
• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods [57.050204432302195]
  本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。 我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
  論文  参考訳（メタデータ） (2022-11-03T14:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。