論文の概要: Accelerated stochastic first-order method for convex optimization under heavy-tailed noise

• arxiv url: http://arxiv.org/abs/2510.11676v1
• Date: Mon, 13 Oct 2025 17:45:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.48641
• Title: Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
• Title（参考訳）: 重み付き雑音下での凸最適化のための高速化確率1次法
• Authors: Chuan He, Zhaosong Lu,
• Abstract要約: 本研究では,重み付き雑音下での次数推定を行う凸関数と,凸関数の和によって目的関数が与えられる凸合成最適化問題について検討する。 我々は,バニラアルゴリズムがクリッピングや正規化などの付加的な変更を伴わずに,これらの問題に対して最適な複雑性を達成できることを実証した。
• 参考スコア（独自算出の注目度）: 3.5877352183559386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study convex composite optimization problems, where the objective function is given by the sum of a prox-friendly function and a convex function whose subgradients are estimated under heavy-tailed noise. Existing work often employs gradient clipping or normalization techniques in stochastic first-order methods to address heavy-tailed noise. In this paper, we demonstrate that a vanilla stochastic algorithm -- without additional modifications such as clipping or normalization -- can achieve optimal complexity for these problems. In particular, we establish that an accelerated stochastic proximal subgradient method achieves a first-order oracle complexity that is universally optimal for smooth, weakly smooth, and nonsmooth convex optimization, as well as for stochastic convex optimization under heavy-tailed noise. Numerical experiments are further provided to validate our theoretical results.
• Abstract（参考訳）: 本研究では,重み付き雑音下での次数推定を行う凸関数と,凸関数の和によって目的関数が与えられる凸合成最適化問題について検討する。 既存の作業では、重み付き雑音に対処する確率的一階法において、勾配クリッピングや正規化技術を用いることが多い。 本稿では,クリッピングや正規化などの付加的な修正を伴わないバニラ確率アルゴリズムが,これらの問題に対して最適な複雑性を実現することを実証する。 特に, 急激な確率的近位勾配法は, 滑らかで滑らかで非滑らかな凸最適化や, 重み付き雑音下での確率的凸最適化に普遍的に最適な1次オラクル複雑性を実現する。 理論的結果を検証するための数値実験も実施されている。

関連論文リスト

• Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization [51.63258496873442]
  合成最適化問題に関するこれまでの研究は、滑らか性の主要な部分、あるいはこれら2つの近似滑らか性点をそれぞれ除外した機械学習の例を必要とする。 本研究では,この問題に対する2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは数値実験により有効であることを示す。
  論文  参考訳（メタデータ） (2025-10-06T02:35:42Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
  雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。 アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
  論文  参考訳（メタデータ） (2024-05-02T21:04:20Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。