論文の概要: Prelimit Coupling and Steady-State Convergence of Constant-stepsize Nonsmooth Contractive SA

• arxiv url: http://arxiv.org/abs/2404.06023v1
• Date: Tue, 9 Apr 2024 05:12:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:48:59.446634
• Title: Prelimit Coupling and Steady-State Convergence of Constant-stepsize Nonsmooth Contractive SA
• Title（参考訳）: 定段非平滑型SAのプリリミット結合と定常収束
• Authors: Yixuan Zhang, Dongyan Huo, Yudong Chen, Qiaomin Xie,
• Abstract要約: Q-ラーニングによって動機づけられ, 定常的なステップサイズを持つ非滑らかな収縮近似 (SA) について検討した。 1)加法雑音を持つ非滑らかな収縮型SAと,2)加法雑音と乗法雑音の両方を特徴とする同期および非同期Q-ラーニングである。
• 参考スコア（独自算出の注目度）: 22.917692982875025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by Q-learning, we study nonsmooth contractive stochastic approximation (SA) with constant stepsize. We focus on two important classes of dynamics: 1) nonsmooth contractive SA with additive noise, and 2) synchronous and asynchronous Q-learning, which features both additive and multiplicative noise. For both dynamics, we establish weak convergence of the iterates to a stationary limit distribution in Wasserstein distance. Furthermore, we propose a prelimit coupling technique for establishing steady-state convergence and characterize the limit of the stationary distribution as the stepsize goes to zero. Using this result, we derive that the asymptotic bias of nonsmooth SA is proportional to the square root of the stepsize, which stands in sharp contrast to smooth SA. This bias characterization allows for the use of Richardson-Romberg extrapolation for bias reduction in nonsmooth SA.
• Abstract（参考訳）: Q-learningによって動機づけられ, 定常段階の非滑らかな収縮性確率近似 (SA) について検討した。 ダイナミクスの2つの重要なクラスに焦点を当てます。 1)付加雑音を有する非平滑な収縮型SA 2) 加法ノイズと乗法ノイズの両方を特徴とする同期および非同期Q-ラーニング。 どちらの力学に対しても、ワッサーシュタイン距離の定常極限分布に反復体の弱収束を確立する。 さらに,定常収束を確立するためのプリリミット結合手法を提案し,ステップサイズがゼロになるにつれて定常分布の限界を特徴づける。 この結果から、非滑らかなSAの漸近バイアスは、滑らかなSAと鋭い対照的なステップサイズの平方根に比例することを示した。 このバイアス特性により、非滑らかなSAのバイアス低減にリチャードソン・ロームバーグ外挿を用いることができる。

関連論文リスト

• Stochastic Approximation with Unbounded Markovian Noise: A General-Purpose Theorem [7.443139252028032]
  非有界な状態空間と報酬関数を持つ平均逆強化学習を考える。 近年の研究では、この問題をアクター批判の枠組みで研究している。 線形関数近似を用いた時間差分学習(TD)について検討した。
  論文  参考訳（メタデータ） (2024-10-29T03:40:53Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• Hybrid discrete-continuous truncated Wigner approximation for driven, dissipative spin systems [0.0]
  本稿では,対話型開スピン系の多体ダイナミクスを扱うための体系的アプローチを提案する。 提案手法は,最近開発された離散切削ウィグナー近似(DTWA)の欠点を克服するものである。 本研究では, 連続埋め込みにより, 軽視, 損失, 不整合駆動を受けるスピン系を開放する手法を, 直接拡張できることを示す。
  論文  参考訳（メタデータ） (2022-03-31T15:40:18Z)
• Towards Noise-adaptive, Problem-adaptive Stochastic Gradient Descent [7.176107039687231]
  雑音に対して勾配降下(SGD)を適応させるステップサイズスキームを設計する。 我々は、Nesterov反復によるSGDの$T$反復がほぼ最適であることを示す。 他のステップサイズスキームと比較して、新しい指数的なステップサイズスキームの有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-21T19:22:14Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality [92.35257908210316]
  本研究では,不完全かつ破損した観測によって与えられる低ランクテンソルを推定する問題について検討する。 改善不可能なレートをell-2$の精度で達成できることが分かりました。
  論文  参考訳（メタデータ） (2020-06-15T17:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。