論文の概要: Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework

• arxiv url: http://arxiv.org/abs/2608.03001v2
• Date: Thu, 06 Aug 2026 04:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.618892
• Title: Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework
• Title（参考訳）: 単位励起と平滑性を超えた確率的サドル回避:リアプノフ・ペロンフレームワーク
• Abstract要約: ユニット(UE)はサドル回避の一般的な前提であるが、実際のノイズ構造を単純化する。 有限サム問題では、勾配ノイズは低次元のデータ依存部分空間に存在することがある。 UEを使わずに再帰の回避定理をほぼ確実に証明する。
• 参考スコア（独自算出の注目度）: 13.105625785987321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unit excitation (UE) is a common assumption in stochastic saddle avoidance: the stochastic error must have a uniformly positive component along every direction, in expectation. This condition gives a direct way to rule out convergence to strict saddles, but it also oversimplifies the actual noise structure, and does not match many stochastic optimization regimes. In overparameterized or interpolation models, the noise may vanish near stationarity. In finite-sum problems, the stochastic gradient noise may lie in a low-dimensional, data-dependent subspace. In these (common) scenarios, UE is naturally not satisfied. In this paper, we prove an abstract almost sure avoidance theorem for stochastic recursions without UE. The theorem replaces UE-type requirements by verifiable pathwise conditions. In applications, these conditions follow, e.g., from local smoothness and finite-moment assumptions under standard i.i.d. sampling, or from the finite-sum structure under without-replacement sampling. Since the stochastically sampled maps generally do not share a fixed point, the celebrated center-stable manifold argument used in deterministic analyses is not directly applicable. Instead, we use a path-dependent change of variables together with a pathwise Lyapunov--Perron-based proof strategy. As applications, we obtain strict saddle avoidance for stochastic mirror descent (including SGD) and for random reshuffling. For nonsmooth composite objectives, we prove avoidance results for a proximal-type stochastic gradient method. Combining these insights with suitable iterate convergence guarantees, this allows establishing convergence to local minimizers of the original objective function.
• Abstract（参考訳）: 単位励起(UE)は確率的サドル回避において一般的な仮定であり、確率的誤差は予想される全ての方向に沿って一様正の成分を持つ必要がある。 この条件は、厳密なサドルへの収束を除外する直接的な方法を与えるが、実際のノイズ構造を単純化し、多くの確率的最適化規則と一致しない。 過パラメータ化または補間モデルでは、ノイズは定常付近で消える可能性がある。 有限サム問題では、確率勾配ノイズは低次元のデータ依存部分空間に現れることがある。 これらの(一般的な)シナリオでは、UEは自然に満足しません。 本稿では,UEを含まない確率的再帰に対する抽象的ほぼ確実な回避定理を証明した。 この定理はUE型要件を検証可能なパスワイズ条件で置き換える。 応用において、これらの条件は、例えば、標準サンプリングの下での局所滑らかさや有限モーメント仮定から、あるいは非置換サンプリングの下での有限サム構造から従う。 確率的にサンプリングされた写像は一般に固定点を共有しないので、決定論的解析で使われる有名な中心安定多様体の議論は直接適用できない。 代わりに、パス依存的な変数変化と、パスワイズなリアプノフ-ペロンに基づく証明戦略を用いる。 応用として、確率的ミラー降下(SGDを含む)とランダムリシャッフルのための厳密なサドル回避が得られる。 非平滑な合成目的に対して、近位型確率勾配法における回避効果を証明した。 これらの洞察と適切な反復収束保証を組み合わせることで、元の目的関数の局所最小化への収束を確立することができる。

関連論文リスト

• Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere [11.087393998848254]
  SSL(Self-Supervised Learning)では,単位超球面上の一様分布を明示的に強制することにより,表現の崩壊を防止することが実証された。 現在のフレームワークは通常、SIGReg(LeJEPAで使用される)やSUSReg(SPHEREJEPAで使用される)のようなスライスされた統計正規化器に依存している。 これにより、トレーニング勾配にプロジェクションのばらつきを注入し、最適化を安定化させ、収束を妨げる。 本研究では,これらのランダムな射影を解析的に統合することにより,決定論的最大平均離散性(MMD)が得られ,スライスされた手法のばらつきを回避できることを示す。
  論文  参考訳（メタデータ） (2026-06-16T07:10:05Z)
• Sample Complexity of Policy Gradient for Log-Growth Control [23.86784769848408]
  ログ成長制御のためのポリシ勾配のサンプル複雑性について検討する。 予測されたミニバッチポリシー勾配が全サンプルの複雑さを実現することを証明した。
  論文  参考訳（メタデータ） (2026-05-26T07:24:14Z)
• $Z^2$-Sampling: Zero-Cost Zigzag Trajectories for Semantic Alignment in Diffusion Models [6.21141073537668]
  インプリシット Z-サンプリングは、中間状態が作用素双対性によって代数的に消滅できることを証明する。 Z2$-Samplingのカップルは動的にキャッシュされたテンポラルセマンティックサロゲートで暗黙の代数的崩壊を行う。
  論文  参考訳（メタデータ） (2026-04-26T05:16:54Z)
• Active Bipartite Ranking with Smooth Posterior Distributions [1.9838140219494644]
  双部格付けは、多くのアプリケーションにかかわる統計的学習問題であり、受動的文脈において広く研究されている。 本研究では,推定ランキングルールのROC曲線と$sup$ノルムの最適値との距離を最小化することを目的とした,スムーズランクと呼ばれる新しいアルゴリズムを提案する。 本研究では,スムーズランクのサンプリング時間に依存する問題と,任意のPAC$(,)$アルゴリズムのサンプリング時間に依存する問題を確立する。
  論文  参考訳（メタデータ） (2026-02-27T18:32:08Z)
• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。