論文の概要: High Probability Bounds for Stochastic Subgradient Schemes with Heavy Tailed Noise

• arxiv url: http://arxiv.org/abs/2208.08567v2
• Date: Sun, 14 Apr 2024 21:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 00:46:46.587013
• Title: High Probability Bounds for Stochastic Subgradient Schemes with Heavy Tailed Noise
• Title（参考訳）: 重畳音を伴う確率的下次スキームの高確率境界
• Authors: Daniela A. Parletta, Andrea Paudice, Massimiliano Pontil, Saverio Salzo,
• Abstract要約: 重み付き雑音下での過次手法の高確率境界について検討する。 このクリッピング戦略は、多くの古典的平均化スキームに対して、ほぼ最適な時空と有限な地平線の境界に導かれることを示す。
• 参考スコア（独自算出の注目度）: 32.27255488868277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we study high probability bounds for stochastic subgradient methods under heavy tailed noise. In this setting the noise is only assumed to have finite variance as opposed to a sub-Gaussian distribution for which it is known that standard subgradient methods enjoys high probability bounds. We analyzed a clipped version of the projected stochastic subgradient method, where subgradient estimates are truncated whenever they have large norms. We show that this clipping strategy leads both to near optimal any-time and finite horizon bounds for many classical averaging schemes. Preliminary experiments are shown to support the validity of the method.
• Abstract（参考訳）: 本研究では,重み付き雑音下での確率的下次法における高確率境界について検討する。 この設定では、ノイズはガウス分布とは対照的に有限な分散しか持たないと仮定され、標準下次法は高い確率境界を持つことが知られている。 そこで我々は,提案手法のクリッピング版を解析し,大ノルムを持つと下次推定値が切り替わることを示した。 このクリッピング戦略は、多くの古典的平均化スキームに対して、ほぼ最適な時空と有限な地平線の境界に導かれることを示す。 予備実験は, 本手法の有効性を裏付けるものである。

関連論文リスト

• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method [5.025654873456757]
  本論文は,提案手法の収束性に関する高い確率保証を得るために,低サンプリング複雑性を確立する。 近位サブプロブレムを解くためにサブルーチンが開発され、分散還元のための新しい技術としても機能する。
  論文  参考訳（メタデータ） (2024-02-14T07:34:22Z)
• High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
  グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。 クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
  論文  参考訳（メタデータ） (2023-10-03T07:49:17Z)
• Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization [21.022322975077653]
  等式制約付き連続最適化問題の解法が近年注目されている。 収束保証は、ゼロを測定するための勾配の期待値に制限されている。 また,SQPアルゴリズムにより生成した予備値,ラグランジュ測度,ステーション測度に対する新たなほぼ収束保証を証明した。
  論文  参考訳（メタデータ） (2023-08-07T16:03:40Z)
• SGD with AdaGrad Stepsizes: Full Adaptivity with High Probability to Unknown Parameters, Unbounded Gradients and Affine Variance [33.593203156666746]
  本稿では,AdaGradが一階最適化のための適応(自己調整)手法を段階化することを示す。 低ノイズと高レジの両方で、低ノイズと高レジの両方で急激な収束率を見出す。
  論文  参考訳（メタデータ） (2023-02-17T09:46:08Z)
• A note on diffusion limits for stochastic gradient descent [0.0]
  勾配アルゴリズムにおける雑音の役割を明確にしようとする理論の多くは、ガウス雑音を持つ微分方程式による勾配降下を広く近似している。 本稿では, 自然に発生する騒音を提示する新しい理論的正当化法を提案する。
  論文  参考訳（メタデータ） (2022-10-20T13:27:00Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。