論文の概要: When Does Dynamic Preconditioning Preserve the Polyak-Ruppert CLT? A Stabilization Threshold

• arxiv url: http://arxiv.org/abs/2604.23498v1
• Date: Sun, 26 Apr 2026 02:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.395202
• Title: When Does Dynamic Preconditioning Preserve the Polyak-Ruppert CLT? A Stabilization Threshold
• Title（参考訳）: 動的プレコンディショニングはPolyak-Ruppert CLTをいつ保存するか?安定化閾値
• Authors: Sunyoung An, Xiaoming Huo,
• Abstract要約: ウォルド型オンライン推論は、安定化率が閾値を超える動的プレコンディション付き平均SGDに対して有効である。 我々は、上界で使われるレート仮説のクラスにおいて、それを弱めることはできないことを証明した。
• 参考スコア（独自算出の注目度）: 12.805268849262243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Polyak-Ruppert averaging yields an asymptotically normal estimator with sandwich covariance $H^{-1}SH^{-1}$, the foundation of online inference. When the gradient step is preconditioned by a data-driven matrix $P_t$, we ask how fast $P_t$ must stabilize for the central limit theorem (CLT) to remain valid. We resolve this via an exact preconditioner-isolating decomposition of the averaged error that confines $P_t$ to a dynamic remainder $R_n$, leaving the martingale and Taylor terms preconditioner-free. Let $M_t = (P_t H)^{-1}$ denote the effective inverse drift matrix, with $\|M_t - M_{t-1}\|_{\mathrm{op}} \lesssim t^{-β}$ and step-size exponent $α\in (1/2, 1)$. We identify a stabilization-rate threshold $β> (α+1)/2$ and prove that, within the class of polynomial rate hypotheses used in our upper bound, it cannot be weakened: the dynamic remainder $\sqrt{n}\,R_n$ vanishes in $L^2$ whenever $β> (α+1)/2$, and we exhibit sequences satisfying those hypotheses for which it does not vanish when $β\le (α+1)/2$. A single stabilization argument certifies three SA variants - SA-AdaGrad, SA-RMSProp, and SA-ONS - with gain $ρ_t = c/t$, each delivering one-step $L^2(\mathrm{op})$ stabilization of order $t^{-1}$, yielding the CLT $\sqrt{n}(\bar{x}_n - x^*) \to N(0, H^{-1}SH^{-1})$; under bounded inputs the pathwise rate $β= 1$ further preserves the $n^{-1/6}$ Wasserstein rate at $α^* = 2/3$. Under standard regularity conditions, Wald-type online inference remains valid for dynamically preconditioned averaged SGD whose stabilization rate exceeds the threshold.
• Abstract（参考訳）: Polyak-Ruppert a averageaging is asymptotically normal estimator with sandwich covariance $H^{-1}SH^{-1}$, the foundation of online inference。 勾配ステップがデータ駆動行列$P_t$でプレコンディションされたとき、中心極限定理(CLT)が有効であるためには、どのくらい早く$P_t$を安定化しなければならないかを問う。 我々はこれを、平均誤差を正確にプレコンディショナリに分解して、P_t$を動的剰余数$R_n$に限定し、マーチンゲールとテイラーの項をプレコンディショナフリーにしておくことで解決する。 M_t = (P_t H)^{-1}$ を有効逆ドリフト行列とし、$\|M_t - M_{t-1}\|_{\mathrm{op}} \lesssim t^{-β}$ およびステップサイズ指数 $α\in (1/2, 1)$ とする。 安定化レートしきい値 $β> (α+1)/2$ を同定し、上界で使われる多項式レート仮説のクラス内では弱められないことを証明する: 動的余剰 $\sqrt{n}\,R_n$ が $L^2$ で消えるとき、$β> (α+1)/2$ である。 SA-AdaGrad, SA-RMSProp, SA-ONS – gain $ρ_t = c/t$ – 1ステップの$L^2(\mathrm{op})$ $ stabilization of order $t^{-1}$, yielding the CLT $\sqrt{n}(\bar{x}_n - x^*) \to N(0, H^{-1}SH^{-1})$; under bounded inputs the pathwise rate $β= 1$ has further saves $n^{-1/6}$ Wasserstein rate at $α^* = 2/3$。 標準正規性条件下では、ウォルド型オンライン推論は、安定化率が閾値を超える動的事前条件付き平均SGDに対して有効である。

関連論文リスト

• Convergence of TD(0) under Polynomial Mixing with Nonlinear Function Approximation [49.1574468325115]
  時間差分学習(TD(0))は強化学習の基本である。 マルコフデータを混合したバニラTD(0)の最初の高確率有限サンプル解析を行う。
  論文  参考訳（メタデータ） (2025-02-08T22:01:02Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• The ODE Method for Asymptotic Statistics in Stochastic Approximation and Reinforcement Learning [3.8098187557917464]
  この論文は$d$-dimensional recursion approximation, $$theta_n+1=theta_n + alpha_n + 1 f(theta_n, Phi_n+1)に関するものである。 主な結果は、ドスカー・バラダン・リャプノフドリフト条件(DV3)の平均流とバージョンに関する追加条件の下で確立される。 a example is given where $f$ and $barf$ are linear in $theta$, and $Phi$ is a geometryal.
  論文  参考訳（メタデータ） (2021-10-27T13:38:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。