論文の概要: Improved Central Limit Theorem and Bootstrap Approximations for Linear Stochastic Approximation
- arxiv url: http://arxiv.org/abs/2510.12375v1
- Date: Tue, 14 Oct 2025 10:50:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.282605
- Title: Improved Central Limit Theorem and Bootstrap Approximations for Linear Stochastic Approximation
- Title（参考訳）: 線形確率近似における中心極限定理とブートストラップ近似の改善
- Authors: Bogdan Butyrin, Eric Moulines, Alexey Naumov, Sergey Samsonov, Qi-Man Shao, Zhuo-Song Zhang,
- Abstract要約: 我々は、ポリャク=ジュディツキー中心極限定理によって予測される共分散行列を持つガウス分布による正規近似を考える。
平均化LSA推定器の再スケール誤差の分布を近似するために,乗算器ブートストラップ法の非漸近的妥当性を証明した。
- 参考スコア（独自算出の注目度）: 28.34847294888529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we refine the Berry-Esseen bounds for the multivariate normal approximation of Polyak-Ruppert averaged iterates arising from the linear stochastic approximation (LSA) algorithm with decreasing step size. We consider the normal approximation by the Gaussian distribution with covariance matrix predicted by the Polyak-Juditsky central limit theorem and establish the rate up to order $n^{-1/3}$ in convex distance, where $n$ is the number of samples used in the algorithm. We also prove a non-asymptotic validity of the multiplier bootstrap procedure for approximating the distribution of the rescaled error of the averaged LSA estimator. We establish approximation rates of order up to $1/\sqrt{n}$ for the latter distribution, which significantly improves upon the previous results obtained by Samsonov et al. (2024).
- Abstract（参考訳）: 本稿では, 線形確率近似 (LSA) アルゴリズムから生じる, 多変量正規近似に対するベリー-エッセイン境界を改良し, ステップサイズを小さくする。
ガウス分布と共分散行列による正規近似をPolyak-Juditsky中心極限定理により予測し、凸距離において位数$n^{-1/3}$に設定する。
また,LSA推定器の再スケール誤差の分布を近似するために,乗算器ブートストラップ法の非漸近的妥当性を証明した。
我々は、後者の分布に対して最大1/\sqrt{n}$の順序の近似値を定め、Samsonov et al (2024) による以前の結果を大きく改善した。
関連論文リスト
- Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent [14.19520637866741]
信頼性セット構築のための乗算器ブートストラップの非漸近的妥当性を確立する。
我々は1/sqrtn$までの凸距離の近似レートを導出する。
論文 参考訳（メタデータ） (2025-02-10T17:49:05Z) - High-accuracy sampling from constrained spaces with the Metropolis-adjusted Preconditioned Langevin Algorithm [12.405427902037971]
本稿では,$mathbbRd$の適切な凸部分集合である対象分布から近似サンプリングを行う1次サンプリング法を提案する。
提案手法は,事前条件付きLangevinアルゴリズムの単一ステップで生成したマルコフ連鎖にメトロポリス・ハスティングスフィルタを適用した結果である。
論文 参考訳（メタデータ） (2024-12-24T23:21:23Z) - Gaussian Approximation and Multiplier Bootstrap for Polyak-Ruppert Averaged Linear Stochastic Approximation with Applications to TD Learning [15.041074872715752]
マルチプライアブートストラップに基づくパラメータ推定において,信頼区間の非漸近的妥当性を証明した。
本稿では,線形関数近似を用いた時間差学習の設定について述べる。
論文 参考訳（メタデータ） (2024-05-26T17:43:30Z) - Sampling and estimation on manifolds using the Langevin diffusion [45.57801520690309]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳（メタデータ） (2023-12-22T18:01:11Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳（メタデータ） (2021-12-23T18:47:50Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳（メタデータ） (2020-02-26T16:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。