論文の概要: Bregman meets Lévy: Stochastic mirror descent with heavy-tailed noise in continuous and discrete time

• arxiv url: http://arxiv.org/abs/2606.03769v1
• Date: Tue, 02 Jun 2026 15:23:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.101402
• Title: Bregman meets Lévy: Stochastic mirror descent with heavy-tailed noise in continuous and discrete time
• Title（参考訳）: ブレグマンはレヴィと出会う:連続時間と離散時間に重尾の雑音を伴う確率的ミラー降下
• Authors: Pierre-Louis Cauvin, Panayotis Mertikopoulos,
• Abstract要約: 重み付き雑音下でのミラー降下(SMD)のロバスト性について検討した。 Lévy mirror flow (LMF) は $mathcalO(-p/(p-1))$ time 内で$$optimality を達成することを示す。
• 参考スコア（独自算出の注目度）: 20.88662531990403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the robustness of stochastic mirror descent (SMD) under heavy-tailed noise, focusing on whether the method retains its convergence guarantees when run with infinite-variance stochastic gradient input. To address this question in a principled manner, we begin by introducing a continuous-time model of SMD as a stochastic differential equation (SDE) driven by a centered Lévy noise process with finite $p$-th order moments, $1 < p \leq 2$. This scheme -- which we call the Lévy mirror flow (LMF) -- arises naturally as the scaling limit of SMD in the presence of heavy-tailed noise. In particular, when $p < 2$ -- the heavy noise regime -- the trajectories of LMF generically exhibit jump discontinuities of arbitrary magnitude which, if frequent enough, lead to infinite variance. Nonetheless, despite this highly singular behavior, we show that LMF attains $ε$-optimality within $\mathcal{O}(ε^{-p/(p-1)})$ time in the convex case, and within $\mathcal{\tilde O}(ε^{-1/(p-1)})$ time for (relatively) strongly convex objectives. These guarantees provide a transparent characterization of the impact of frequent long jumps on the convergence of the process, and percolate to a series of matching discrete-time guarantees for several variants of SMD under heavy-tailed noise.
• Abstract（参考訳）: 本研究では,無限分散確率勾配入力を用いた場合の収束保証を維持できるかどうかに着目し,重み付き雑音下での確率的ミラー降下(SMD)のロバスト性について検討する。 この問題に原則的に対処するために、SMDの連続時間モデルを、有限の$p$-次モーメントと1 < p \leq 2$を持つ中心レヴィ雑音過程によって駆動される確率微分方程式(SDE)として導入することから始める。 Lévy mirror flow (LMF) と呼ばれるこのスキームは、重テールノイズの存在下でSMDのスケーリング限界として自然に発生する。 特に、$p < 2$ -- 重騒音状態 -- のとき、LMFの軌道は任意の等級のジャンピング不連続性を示す。 しかしながら、この非常に特異な振舞いにもかかわらず、LMF は、凸の場合において $\mathcal{O}(ε^{-p/(p-1)})$時間、(相対的に)強凸対象に対して $\mathcal{\tilde O}(ε^{-1/(p-1)})$時間において $ε$-最適性を得ることを示す。 これらの保証は、頻繁な長いジャンプがプロセスの収束に与える影響を透過的に評価し、重尾雑音下でのSMDのいくつかの変種に対する一連の離散時間保証に対処する。

関連論文リスト

• Bias-Variance Trade-off for Clipped Stochastic First-Order Methods: From Bounded Variance to Infinite Mean [1.0064470833375987]
  オラクル一階法(英: Oracle first-order method, SFOMs)は、重み付け勾配を制御するための重要な手法である。 本報告では, 終末指数$in(0,2]$の雑音に対して, 有界な雑音から無限平均の雑音までの範囲をカバーしている。 ノイズテールの対称性が制御された場合, カットされたSFOMは重み付きノイズの存在下での複雑性保証を向上することを示す。
  論文  参考訳（メタデータ） (2025-12-16T18:52:15Z)
• Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises [55.43924214633558]
  本稿では,サブワイブルノイズとSsBCノイズの2種類のノイズに着目した。 これら2つのノイズ仮定の下では、凸最適化と滑らかな最適化の文脈において、SFOMの不規則および高確率収束が研究されている。
  論文  参考訳（メタデータ） (2025-07-17T16:48:45Z)
• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [65.40001744848615]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees [56.80920351680438]
  本研究では,重音の存在下でのオンライン学習における高確率収束について検討する。 ノイズモーメントを仮定することなく、幅広い種類の非線形性を保証する。
  論文  参考訳（メタデータ） (2024-10-17T18:25:28Z)
• Fast Convergence of $Φ$-Divergence Along the Unadjusted Langevin Algorithm and Proximal Sampler [14.34147140416535]
  連続空間における2つの一般的な離散時間マルコフ連鎖の混合時間について検討する。 二つの微分可能な厳密凸函数から生じる任意の$Phi$-divergenceが、これらのマルコフ連鎖に沿って指数的に0$に収束することを示す。
  論文  参考訳（メタデータ） (2024-10-14T16:41:45Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization [15.404265455635587]
  プライバシー分析が凸性に依存しず、プライバシーを損なうことなくいつでも停止することができる指数関数機構からのサンプリングアルゴリズムを提案する。 我々は、純粋および近似微分プライバシー(DP)の下で(強く)凸損失に対する最適過大な経験と人口リスクの保証を得る。 このフレームワークにより、Rashomon集合からDP一様サンプリングを設計できる。
  論文  参考訳（メタデータ） (2022-04-04T15:33:21Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。