論文の概要: Understanding the Asymptotic Transience of Q-Learning via Distributional Expansion
- arxiv url: http://arxiv.org/abs/2611.14926v1
- Date: Wed, 11 Nov 2026 02:28:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.984167
- Title: Understanding the Asymptotic Transience of Q-Learning via Distributional Expansion
- Title(参考訳): 分布拡大によるQ-Learningの漸近的推移の理解
- Abstract要約: 個別のQ-ラーニングインスタンスに対する過渡的エラーの発生と、その効果が中央限尺度以下に持続することを示す。
その結果、個々のQ-ラーニングインスタンスに対して過渡的エラーが発生するか、その効果が中央限スケール以下で持続するかが明らかになった。
- 参考スコア(独自算出の注目度): 10.189658648290257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Q-learning has been empirically observed to exhibit substantial transient error. This transient remains uncaptured by the leading Gaussian limit because the central-limit normalization removes the smaller-scale displacement generated by the initial nonlinear evolution. On the other hand, worst-case finite-sample guarantees, while accounting for transient effects, can obscure the mechanisms responsible for the error on a particular problem instance. We develop a finer asymptotic analysis that gives an asymptotically exact characterization of this transient for a fixed instance. Specifically, for synchronous Q-learning in finite discounted Markov decision processes, we separate the last-iterate error into an optimal-policy temporal-difference (TD) component and a nonnegative displacement caused by maximization. The centered TD component has Gaussian fluctuations at scale $n^{-1/2}$, whereas the maximization transient is of order $n^{-1}$ and converges almost surely, after rescaling by $n$, to a random limit. This limit represents the propagated effect of maximization errors generated before the greedy policy stabilizes. We combine this characterization with an Edgeworth expansion of the TD component to identify the corrections to its Gaussian approximation, separating the effects of initialization, non-Gaussian TD fluctuations, and maximization. The results reveal how transient errors arise for individual Q-learning instances and how their effects persist below the central-limit scale.
- Abstract(参考訳): Q-ラーニングは、実質的な過渡的誤りを示すために経験的に観察されている。
この過渡性は、中心極限正規化が初期非線形進化によって生じる小さなスケールの変位を取り除くため、先行するガウス極限によって捉えられていない。
一方、最悪の場合の有限サンプル保証は、過渡効果を考慮しつつ、特定の問題インスタンスのエラーの原因となるメカニズムを曖昧にすることができる。
我々は、固定されたインスタンスに対して、この過渡性の漸近的に正確に特徴づけられるような、より微細な漸近解析を開発する。
具体的には, 有限割引マルコフ決定過程における同期Q-ラーニングにおいて, 最終項目誤差を最適政治時間差分(TD)成分と最大化に起因する非負の変位に分離する。
中心的TD成分はスケール$n^{-1/2}$でガウス的ゆらぎを持ち、最大化過渡度は位数$n^{-1}$で、n$で再スケーリングした後、ほぼ確実にランダムな極限に収束する。
この制限は、グリーディポリシーが安定化する前に発生する最大化誤差の伝播効果を表す。
この特徴をTD成分のエッジワース展開と組み合わせ、ガウス近似の補正を同定し、初期化、非ガウス的TDゆらぎ、最大化の効果を分離する。
その結果、個々のQ-ラーニングインスタンスの過渡的エラーの発生と、その効果が中央限スケール以下に持続することを示す。
関連論文リスト
- Settling the Burn-in Gap: Sharp Risk Bounds for Tail-Averaged SGD in Linear Regression [50.91983233376599]
本研究では,高次元線形回帰に対するテール・アブリゲーティングによるオンライン勾配勾配勾配の一定段階の過大なリスクについて検討した。
我々は, スペクトルフィードバック条件が2つの具体的な定常状態で満たされていることを証明した。
論文 参考訳(メタデータ) (2026-11-10T00:00:44Z) - Certified neural approximations for parabolic obstacle problems [0.0]
残留訓練されたニューラルサロゲートはエラー保証を持たない。
我々は1次状態--flux--multiplierにおけるパラボラ障害問題の神経近似に対する誤差境界を導出する。
論文 参考訳(メタデータ) (2026-10-16T20:23:13Z) - Exact Tail Laws for Nonlinear SGD with Infinite-Variance Gradients [4.78917566112779]
我々はSGDの精度を1次尾の正確な確率で特徴づける。
我々は、その相対的精度を中央スケール以上の許容度を縮めることに証明する。
1次元から100次元の結合シミュレーションでは、相対的なキャリブレーション、客観的な量子化、バッチ効果、ランダムな曲率による誤差を検証している。
論文 参考訳(メタデータ) (2026-10-16T16:55:33Z) - Limit Theory for Online Expectile Estimation under Short and Long Range Dependence [3.0204520109309847]
本研究では,定常因果過程の限界期待値を推定するために,定常学習率$$1-pass,gradient-gradient理論について検討した。
複数の期待レベルに対する結合長メモリ制限を導出し、その制限共分散構造を特徴づける。
様々な数値実験は、予測されたガウス近似と状態固有のゆらぎスケールを相関させる。
論文 参考訳(メタデータ) (2026-10-12T00:55:44Z) - Gaussian Limits for SGD Without Stationary Moments [5.880053014907968]
時間的依存は、ガウスの勾配勾配の近似を定常モーメントから分離することができる。
修正されていない最小二乗 SGD に対して、定常誤差がすべての正のモーメントを無限に持つ標準ガウス境界を持つ設計を構築する。
同じ辺を持つ独立な観測は、代わりに有限の定常分散を与える。
論文 参考訳(メタデータ) (2026-10-04T23:04:23Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳(メタデータ) (2024-08-25T10:28:31Z) - Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。
我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
論文 参考訳(メタデータ) (2024-02-19T03:08:02Z) - Convergence and concentration properties of constant step-size SGD
through Markov chains [0.0]
定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。
緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。
全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
論文 参考訳(メタデータ) (2023-06-20T12:36:28Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。