論文の概要: Prelimit Coupling and Steady-State Convergence of Constant-stepsize Nonsmooth Contractive SA

• arxiv url: http://arxiv.org/abs/2404.06023v1
• Date: Tue, 9 Apr 2024 05:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-10 15:48:59.446634
• Title: Prelimit Coupling and Steady-State Convergence of Constant-stepsize Nonsmooth Contractive SA
• Title（参考訳）: 定段非平滑型SAのプリリミット結合と定常収束
• Abstract要約: Q-ラーニングによって動機づけられ, 定常的なステップサイズを持つ非滑らかな収縮近似 (SA) について検討した。 1)加法雑音を持つ非滑らかな収縮型SAと,2)加法雑音と乗法雑音の両方を特徴とする同期および非同期Q-ラーニングである。
• 参考スコア（独自算出の注目度）: 22.917692982875025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by Q-learning, we study nonsmooth contractive stochastic approximation (SA) with constant stepsize. We focus on two important classes of dynamics: 1) nonsmooth contractive SA with additive noise, and 2) synchronous and asynchronous Q-learning, which features both additive and multiplicative noise. For both dynamics, we establish weak convergence of the iterates to a stationary limit distribution in Wasserstein distance. Furthermore, we propose a prelimit coupling technique for establishing steady-state convergence and characterize the limit of the stationary distribution as the stepsize goes to zero. Using this result, we derive that the asymptotic bias of nonsmooth SA is proportional to the square root of the stepsize, which stands in sharp contrast to smooth SA. This bias characterization allows for the use of Richardson-Romberg extrapolation for bias reduction in nonsmooth SA.
• Abstract（参考訳）: Q-learningによって動機づけられ, 定常段階の非滑らかな収縮性確率近似 (SA) について検討した。 ダイナミクスの2つの重要なクラスに焦点を当てます。 1)付加雑音を有する非平滑な収縮型SA 2) 加法ノイズと乗法ノイズの両方を特徴とする同期および非同期Q-ラーニング。 どちらの力学に対しても、ワッサーシュタイン距離の定常極限分布に反復体の弱収束を確立する。 さらに,定常収束を確立するためのプリリミット結合手法を提案し,ステップサイズがゼロになるにつれて定常分布の限界を特徴づける。 この結果から、非滑らかなSAの漸近バイアスは、滑らかなSAと鋭い対照的なステップサイズの平方根に比例することを示した。 このバイアス特性により、非滑らかなSAのバイアス低減にリチャードソン・ロームバーグ外挿を用いることができる。

関連論文リスト

• Steady-State Convergence of Stochastic Approximation [19.40811084751516]
  我々はマルコフ型乗法雑音によって駆動される定数ステップサイズの収縮型SAに対する統一SSC理論を開発する。 主要な方法論的貢献は、トラクタブルな補助力学への元の再帰を段階的に減少させる多段階フレームワークである。 主次バイアスは、スムーズな状態における$$-orderバイアスとは対照的に、次数$sqrt$の普遍性であることが示される。
  論文  参考訳（メタデータ） (2026-09-14T02:15:03Z)
• Diffusion Flow Matching: Dimension-Improved KL Bounds and Wasserstein Guarantees [15.697611355182005]
  我々は,ブラウン運動に基づくDFMの収束保証を行い,離散化誤差に着目した。 解析はクルバック・リーブラー(KL)の発散と2-ワッサーシュタイン距離で行う。
  論文  参考訳（メタデータ） (2026-06-15T12:00:13Z)
• Central Limit Theorem for Two-Time-Scale Approximate Distributionally Robust RL [8.809468023364703]
  堅牢な強化学習アルゴリズムの設計は根本的な課題を生んでいる。 本稿では、関連するロバスト関数の1次展開に基づく近似DRRLフレームワークを提案する。 この近似方程式の定点を学習するために,平均変数近似(MVSA)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T19:24:28Z)
• Zeroth-Order Optimization at the Edge of Stability [59.54782674222443]
  ゼロ階数(ZO)系の(平均二乗の)線形安定性を捉える明示的なステップサイズ条件を提供する。 以上の結果から,ZO法に特有の暗黙的な正則化効果が示され,大きなステップサイズが主にヘッセントレースを正則化することがわかった。
  論文  参考訳（メタデータ） (2026-04-16T06:23:18Z)
• Rethinking quantum smooth entropies: Tight one-shot analysis of quantum privacy amplification [12.891210250935146]
  量子側情報に対するランダム性抽出の改良された一発的特徴化(プライバシ増幅)を導入する。 我々の主なツールは、古典的な滑らかな発散を測定によって持ち上げることで定義される、滑らかな条件付きエントロピーの新しいクラスである。 対数対数項に有界な一発逆数を与えることにより,結果の近似的最適性を示す。
  論文  参考訳（メタデータ） (2026-03-04T19:00:01Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds [9.739744677824286]
  定段近似(SA)は計算効率の学習に広く用いられている。 以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。 この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
  論文  参考訳（メタデータ） (2026-02-15T02:34:50Z)
• Achieving $\varepsilon^{-2}$ Dependence for Average-Reward Q-Learning with a New Contraction Principle [13.418969441591882]
  平均回帰マルコフ決定過程に対する同期および非同期Q-ラーニングの収束率を示す。 分析の核となるのは、インスタンス依存半ノルムの構成であり、マルコフ決定過程の遅延変換の後、ベルマン作用素がこの半ノルムの下で一段階の縮約となることを示す。
  論文  参考訳（メタデータ） (2026-01-29T05:54:31Z)
• Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises [55.43924214633558]
  本稿では,サブワイブルノイズとSsBCノイズの2種類のノイズに着目した。 これら2つのノイズ仮定の下では、凸最適化と滑らかな最適化の文脈において、SFOMの不規則および高確率収束が研究されている。
  論文  参考訳（メタデータ） (2025-07-17T16:48:45Z)
• Optimal High-probability Convergence of Nonlinear SGD under Heavy-tailed Noise via Symmetrization [50.49466204159458]
  雑音対称性に基づく2つの新しい推定器を提案する。 よりシャープな分析と改善されたレートを提供します。 モーメントと対称雑音を仮定する作業と比較して、よりシャープな解析と改善率を提供する。
  論文  参考訳（メタデータ） (2025-07-12T00:31:13Z)
• Revisiting Stochastic Approximation and Stochastic Gradient Descent [2.4092466208212313]
  本稿では,近似 (SA) アルゴリズムと勾配 Descent (SGD) アルゴリズムの収束性を証明する新しい手法を提案する。 新しいアプローチはGSLLN(Generalized Strong Law of Large Numbers)と呼ばれる概念に基づいており、従来のSLLNを拡張している。
  論文  参考訳（メタデータ） (2025-05-16T15:10:58Z)
• Stochastic Approximation with Unbounded Markovian Noise: A General-Purpose Theorem [7.443139252028032]
  非有界な状態空間と報酬関数を持つ平均逆強化学習を考える。 近年の研究では、この問題をアクター批判の枠組みで研究している。 線形関数近似を用いた時間差分学習(TD)について検討した。
  論文  参考訳（メタデータ） (2024-10-29T03:40:53Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• Hybrid discrete-continuous truncated Wigner approximation for driven, dissipative spin systems [0.0]
  本稿では,対話型開スピン系の多体ダイナミクスを扱うための体系的アプローチを提案する。 提案手法は,最近開発された離散切削ウィグナー近似(DTWA)の欠点を克服するものである。 本研究では, 連続埋め込みにより, 軽視, 損失, 不整合駆動を受けるスピン系を開放する手法を, 直接拡張できることを示す。
  論文  参考訳（メタデータ） (2022-03-31T15:40:18Z)
• Towards Noise-adaptive, Problem-adaptive Stochastic Gradient Descent [7.176107039687231]
  雑音に対して勾配降下(SGD)を適応させるステップサイズスキームを設計する。 我々は、Nesterov反復によるSGDの$T$反復がほぼ最適であることを示す。 他のステップサイズスキームと比較して、新しい指数的なステップサイズスキームの有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-21T19:22:14Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality [92.35257908210316]
  本研究では,不完全かつ破損した観測によって与えられる低ランクテンソルを推定する問題について検討する。 改善不可能なレートをell-2$の精度で達成できることが分かりました。
  論文  参考訳（メタデータ） (2020-06-15T17:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。