論文の概要: Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning

• arxiv url: http://arxiv.org/abs/2603.16042v1
• Date: Tue, 17 Mar 2026 01:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.057408
• Title: Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
• Title（参考訳）: 二重リプシッツ連続性とカーネルコンディショニングによる確率鏡像のシャッフル
• Authors: Junwen Qiu, Leilei Mei, Junyu Zhang,
• Abstract要約: 局所的な相対的カーネル関数を制御するために、デュアルカーネル条件付け(DK)を導入する。 我々は、制約付き非複雑性相対滑らかな問題に対して、最初のランダム境界と、最初のリシャッフルミラー収束を確立する。
• 参考スコア（独自算出の注目度）: 13.169947576695456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The global Lipschitz smoothness condition underlies most convergence and complexity analyses via two key consequences: the descent lemma and the gradient Lipschitz continuity. How to study the performance of optimization algorithms in the absence of Lipschitz smoothness remains an active area. The relative smoothness framework from Bauschke-Bolte-Teboulle (2017) and Lu-Freund-Nesterov (2018) provides an extended descent lemma, ensuring convergence of Bregman-based proximal gradient methods and their vanilla stochastic counterparts. However, many widely used techniques (e.g., momentum schemes, random reshuffling, and variance reduction) additionally require the Lipschitz-type bound for gradient deviations, leaving their analysis under relative smoothness an open area. To resolve this issue, we introduce the dual kernel conditioning (DKC) regularity condition to regulate the local relative curvature of the kernel functions. Combined with the relative smoothness, DKC provides a dual Lipschitz continuity for gradients: even though the gradient mapping is not Lipschitz in the primal space, it preserves Lipschitz continuity in the dual space induced by a mirror map. We verify that DKC is widely satisfied by popular kernels and is closed under affine composition and conic combination. With these novel tools, we establish the first complexity bounds as well as the iterate convergence of random reshuffling mirror descent for constrained nonconvex relative smooth problems.
• Abstract（参考訳）: グローバルリプシッツの滑らかさ条件は、降下補題と勾配リプシッツ連続性という2つの主要な結果を通じて、最も収束と複雑性の分析の基盤となる。 リプシッツの滑らかさがなければ最適化アルゴリズムの性能をどう研究するかは、まだ活発な領域である。 Bauschke-Bolte-Teboulle (2017) と Lu-Freund-Nesterov (2018) の相対滑らか度フレームワークは、ブレグマンに基づく近位勾配法とそのバニラ確率的手法の収束を確実にする拡張降下補題を提供する。 しかし、多くの広く使われているテクニック(例えば、運動量スキーム、ランダムリシャッフル、および分散還元)は、勾配偏差に対してリプシッツ型境界を必要とする。 この問題を解決するために、カーネル関数の局所的相対曲率を制御するために、デュアルカーネル条件(DKC)正則性条件を導入する。 相対滑らかさと組み合わせて、DKC は勾配に対する双対リプシッツ連続性を与える:勾配写像は原始空間においてリプシッツではないが、ミラー写像によって誘導される双対空間におけるリプシッツ連続性を保存する。 我々は、DKCが一般的なカーネルによって広く満足され、アフィン組成と円錐結合の下で閉じられていることを検証した。 これらの新しいツールにより、制約付き非凸相対滑らかな問題に対するランダムリシャッフルミラー降下の反復収束と同様に、最初の複雑性境界を確立する。

関連論文リスト

• Near-optimal delta-convex estimation of Lipschitz functions [0.913755431537592]
  本稿では,雑音観測から未知のリプシッツ関数を推定するためのトラクタブルアルゴリズムを提案する。 フレームワークは、形状制限された回帰に適応するのも簡単です。
  論文  参考訳（メタデータ） (2025-11-19T17:02:30Z)
• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• A Unified Analysis on the Subgradient Upper Bounds for the Subgradient Methods Minimizing Composite Nonconvex, Nonsmooth and Non-Lipschitz Functions [7.972544890243396]
  本稿では, 近位降下法(Prox-SubGrad) 型アプローチの統一解析について述べる。 我々は, 誤差有界条件, 対象の下位次数の成長条件, および主次次次次次次数反復の挙動を, 極めて広い目的関数のクラスに関連付けることができる。
  論文  参考訳（メタデータ） (2023-08-30T23:34:11Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Beyond Uniform Lipschitz Condition in Differentially Private Optimization [28.04430869054056]
  微分プライベート勾配降下(DP-SGD)に関するほとんどの先行結果は、一様リプシッツ性(英語版)という単純な仮定の下で導出される。 我々は、サンプルごとのリプシッツ定数が有界であるとき、一般バージョンのリプシッツネスのノルム依存度を選択する原理的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2022-06-21T20:11:30Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum Optimization [7.014966911550542]
  スパースサブ構造を検索するために,非滑らかな正規化を伴うディープニューラルネットワークをトレーニングする問題を考察する。 我々は、収束と最悪のケースの複雑さが勾配のリプシッツ定数の知識や近似なしで確立されるSR2と呼ばれる新しい解法を導出する。 CIFAR-10とCIFAR-100で訓練されたネットワークインスタンスの実験により、SR2はProxGENやProxSGDのような関連する手法よりも常に高い空間性と精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T00:28:44Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration [30.369542816161378]
  我々は,滑らかな凸関数の1次最小化のために,標準的な指数関数法(ミラープロキシと双対外挿法)が最適加速率を回復することを示した。 我々はこの枠組みを一般化し、相対的なリプシッツネスの局所的およびランダムな概念を扱う。
  論文  参考訳（メタデータ） (2020-11-12T18:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。