Fugu-MT 論文翻訳(概要): General Tail Bounds for Non-Smooth Stochastic Mirror Descent

論文の概要: General Tail Bounds for Non-Smooth Stochastic Mirror Descent

arxiv url: http://arxiv.org/abs/2312.07142v1
Date: Tue, 12 Dec 2023 10:24:32 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 16:38:36.608905
Title: General Tail Bounds for Non-Smooth Stochastic Mirror Descent
Title（参考訳）: 非スムース確率ミラー降下のための一般テール境界
Authors: Khaled Eldowa, Andrea Paudice
Abstract要約: 凸およびリプシッツの目的に対するミラーディクセントの最適化誤差に関する新しいテール境界を提供する。我々の結果は、領域の直径の上限を必要としない。
参考スコア（独自算出の注目度）: 6.47243430672461
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we provide novel tail bounds on the optimization error of Stochastic Mirror Descent for convex and Lipschitz objectives. Our analysis extends the existing tail bounds from the classical light-tailed Sub-Gaussian noise case to heavier-tailed noise regimes. We study the optimization error of the last iterate as well as the average of the iterates. We instantiate our results in two important cases: a class of noise with exponential tails and one with polynomial tails. A remarkable feature of our results is that they do not require an upper bound on the diameter of the domain. Finally, we support our theory with illustrative experiments that compare the behavior of the average of the iterates with that of the last iterate in heavy-tailed noise regimes.
Abstract（参考訳）: 本稿では,凸およびリプシッツの目的に対する確率鏡Descentの最適化誤差に関する新しいテール境界を提供する。本解析では,既存のテール境界を古典的ライトテールサブガウシアンノイズケースからより重いテールノイズレジームまで拡張する。前回の繰り返しの最適化誤差と,その平均値について検討する。結果は指数的尾を持つ雑音のクラスと多項式尾を持つノイズのクラスという2つの重要なケースでインスタンス化する。この結果の顕著な特徴は、ドメインの直径の上限を必要としない点である。最後に,重み付き雑音環境における反復音の平均挙動と最後の反復音の挙動を比較実験により支持する。

関連論文リスト

Already Moderate Population Sizes Provably Yield Strong Robustness to Noise [53.27802701790209]
2つの進化的アルゴリズムは、OneMaxベンチマークのランタイムを増大させることなく、一定のノイズ確率を許容できることを示す。この結果は、ノイズのない子孫は親と騒々しい子孫の間に偏りのある均一な交叉と見なすことができるという、新しい証明の議論に基づいている。
論文参考訳（メタデータ） (2024-04-02T16:35:52Z)
Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage [24.40306100502023]
我々は,雑音学習アルゴリズムのクラスにおける一般化挙動を解析するために,情報理論の枠組みを採用する。更新関数の仮定が雑音の最適選択にどのように影響するかを示す。
論文参考訳（メタデータ） (2023-02-28T12:13:57Z)
Two-Tailed Averaging: Anytime, Adaptive, Once-in-a-While Optimal Weight Averaging for Better Generalization [0.0]
Tail AveragingはPolyak Averagingの非漸近的振る舞いを改善する。純粋最適化ではなく一般化を改善することを目的としたTail Averagingの常用変種を提案する。
論文参考訳（メタデータ） (2022-09-26T10:46:37Z)
Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
論文参考訳（メタデータ） (2022-06-09T04:48:48Z)
Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文参考訳（メタデータ） (2022-06-02T15:21:55Z)
A gradient estimator via L1-randomization for online zero-order optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文参考訳（メタデータ） (2022-05-27T11:23:57Z)
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance [17.199063087458907]
我々は一様凸ミラーマップのクラスを用いてミラーDescentアルゴリズムの収束率を定量化する。このアルゴリズムは明確な勾配クリッピングや正規化を必要としない。我々は,1次オラクルのみを用いた他のアルゴリズムでは改善率を達成できないことを示す情報理論の下界を補完する。
論文参考訳（メタデータ） (2022-02-23T17:08:40Z)
Heavy-tailed denoising score matching [5.371337604556311]
ランゲヴィン力学における複数のノイズレベルを連続的に初期化する反復的雑音スケーリングアルゴリズムを開発した。実用面では、重み付きDSMを用いることで、スコア推定、制御可能なサンプリング収束、不均衡データセットに対するよりバランスのない非条件生成性能が改善される。
論文参考訳（メタデータ） (2021-12-17T22:04:55Z)
Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文参考訳（メタデータ） (2021-10-26T15:02:27Z)
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文参考訳（メタデータ） (2021-06-28T00:17:01Z)
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。