論文の概要: On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning

• arxiv url: http://arxiv.org/abs/2405.10289v5
• Date: Fri, 11 Jul 2025 20:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 20:53:34.966383
• Title: On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning
• Title（参考訳）: 確率的最適化と学習における部分微分の均一収束について
• Authors: Feng Ruan,
• Abstract要約: 実験的リスクから集団リスクへのサブディファレンシャルマッピングの一様収束を非平滑,非評価,決定論的最適化を用いて検討した。 これらの保証は、堅牢な統計と関連する応用に起因する問題の幾何学に関する新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 2.719510212909501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the uniform convergence of subdifferential mappings from empirical risk to population risk in nonsmooth, nonconvex stochastic optimization. This question is key to understanding how empirical stationary points approximate population ones, yet characterizing this convergence remains a fundamental challenge due to the set-valued and nonsmooth nature of subdifferentials. This work establishes a general reduction principle: for weakly convex stochastic objectives, over any open subset of the domain, we show that a uniform bound on the convergence of selected subgradients-chosen arbitrarily from subdifferential sets-yields a corresponding uniform bound on the Hausdorff distance between the subdifferentials. This deterministic result reduces the study of set-valued subdifferential convergence to simpler vector-valued subgradient convergence. We apply this reduction to derive sharp uniform convergence rates for subdifferential mappings in stochastic convex-composite optimization, without relying on differentiability assumptions on the population risk. These guarantees clarify the landscape of nonsmooth empirical objectives and offer new insight into the geometry of optimization problems arising in robust statistics and related applications.
• Abstract（参考訳）: 本研究では,非滑らかな非凸確率最適化において,経験的リスクから集団的リスクへの部分微分写像の均一収束について検討する。 この問題は、経験的定常点がいかに集団を近似するかを理解するのに重要であるが、この収束を特徴づけることは、部分微分の集合的および非滑らかな性質のために根本的な課題である。 この研究は一般的な還元原理を確立している: 弱凸確率的目的に対して、領域の任意の開部分集合上では、選択された下次集合の収束に任意に有界な一様が、部分微分の間のハウスドルフ距離に有界な対応する一様であることを示す。 この決定論的結果は、集合値下微分収束の研究を、より単純なベクトル値下次収束に還元する。 本研究では, 集団リスクに対する微分可能性の仮定に頼らず, 確率的凸合成最適化における部分微分写像に対する鋭い一様収束率を導出する。 これらの保証は、非滑らかな経験的目的の展望を明確にし、頑健な統計と関連する応用から生じる最適化問題の幾何学に関する新たな洞察を提供する。

関連論文リスト

• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias [55.72269695392027]
  本稿では,線形系を解くためにエントロピックミラー降下を適用することに焦点を当てる。 収束解析の主な課題は、領域の非有界性に起因する。 制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。
  論文  参考訳（メタデータ） (2025-05-05T12:33:18Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
  制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。 頑健な推定器は効率的に計算可能で一貫したものであることを示す。 合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:01:18Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Stochastic Saddle Point Problems with Decision-Dependent Distributions [0.6091702876917279]
  本稿では,静的設定と時間変化設定の両方において決定に依存するサドル点問題に焦点をあてる。 定常ミニマックス問題に対するサドル点である平衡点の概念を導入する。 原始双対アルゴリズムは、同様の方法でサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2022-01-07T03:36:41Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities [29.0058976973771]
  本稿では,アルゴリズムの収束率とBregman関数によって誘導される局所幾何学との複雑な関係を示す。 この指数はアルゴリズムの最適ステップサイズポリシーと得られた最適レートの両方を決定する。
  論文  参考訳（メタデータ） (2021-07-05T09:54:47Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Sequential Estimation of Convex Divergences using Reverse Submartingales and Exchangeable Filtrations [31.088836418378534]
  本稿では,分布間の凸発散の逐次推定手法を提案する。 我々のアプローチの技術的基盤は、経験的凸の発散が(部分的に順序づけられた)逆潜水星であることの観察にある。 これらの技術は、信頼配列と凸発散の両方に関する既存の文献に強力な追加であるように見える。
  論文  参考訳（メタデータ） (2021-03-16T18:22:14Z)
• Stochastic Variance Reduction for Variational Inequality Methods [19.061953585686986]
  凸凹サドル点問題, 単調変位不等式, 単調包含問題に対する分散化アルゴリズムを提案する。 私たちのフレームワークは、ユークリッドとブレグマンの両方で、エクストラグラデーション、フォワードバックワード、フォワードリフレクテッドバックワードメソッドに適用されます。
  論文  参考訳（メタデータ） (2021-02-16T18:39:16Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Variance-Reduced Splitting Schemes for Monotone Stochastic Generalized Equations [0.0]
  演算子を期待値とする単調な包摂問題を考える。 分割スキームの直接適用は、各ステップにおける期待値マップによる問題解決の必要性により複雑である。 本稿では,不確実性に対処する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T02:33:27Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。