論文の概要: A Finite Sample Analysis for Quantile Temporal Difference Learning in Distributional Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.27313v1
- Date: Thu, 27 Aug 2026 16:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.483979
- Title: A Finite Sample Analysis for Quantile Temporal Difference Learning in Distributional Reinforcement Learning
- Title（参考訳）: 分散強化学習における量子時間差学習のための有限サンプル解析
- Abstract要約: 分散強化学習における同期量子時間差分学習(QTD)のグローバル有限サンプル保証を確立する。
大域的な比較論は、報酬累積分布関数の順序単調性と分布ベルマン作用素の$W_infty$収縮に基づいて、局所近傍に任意に安定性をもたらす。
- 参考スコア（独自算出の注目度）: 18.875039998204848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish a global finite-sample guarantee for synchronous quantile temporal-difference learning (QTD) in tabular distributional reinforcement learning. The proof separates two stability mechanisms. A global comparison argument, based on the order monotonicity of reward cumulative distribution functions and the $W_\infty$ contraction of the distributional Bellman operator, brings an arbitrarily initialized iterate into a local neighborhood. Inside that neighborhood, we linearize the QTD mean field. Its Jacobian is a nonsingular $M$-matrix, and the associated positive semigroup permits a variance-sensitive martingale analysis. For stepsizes $α_t=c(t+1)^{-a}$ with $a\in(1/2,1)$, the leading last-iterate fluctuation is of order $\widetilde O\bigl(T^{-a/2}/\sqrt{1-γ}\bigr)$ and has no polynomial dependence on the number of quantiles. The deterministic transient and the required burn-in can still depend on the smallest Bellman-target density, which is of order $m^{-1}$ in the worst case. The result therefore distinguishes sharply between the local stochastic fluctuation and the global sample complexity.
- Abstract（参考訳）: 表分布強化学習における同期量子時間差分学習(QTD)のグローバル有限サンプル保証を確立する。
この証明は2つの安定性メカニズムを分離する。
グローバル比較論は、報酬累積分布関数の順序単調性と分布ベルマン作用素の$W_\infty$収縮に基づいて、任意の初期化イテレートを局所近傍に持ち込む。
その地区内では、QTD平均場を線形化する。
そのヤコビアンは非特異な$M$-行列であり、関連する正の半群は分散感応性マーチンゲール解析を許す。
ステップ化 $α_t=c(t+1)^{-a}$ と $a\in(1/2,1)$ とすると、先頭の行列変動は次数 $\widetilde O\bigl(T^{-a/2}/\sqrt{1-γ}\bigr)$ であり、量子の個数に多項式依存を持たない。
決定論的過渡性と必要なバーンインは、最悪の場合、$m^{-1}$である最小のベルマン・ターゲット密度に依存することができる。
その結果,局所確率的ゆらぎと大域的なサンプルの複雑さを著しく区別した。
関連論文リスト
- A Banach-Space Theory of Markovian Halpern Iteration for Non-Expansive Maps [7.788141970705731]
本稿では,ポアソン方程式を用いてリフレッシュおよび同状態差分ブロックを解析した分散還元型マルコフ型PAGE-Halpern法を提案する。
変位レベルハルパーン境界はヒルベルト空間ポテンシャルに置き換わり、元の非拡張性ノルムにおいて$tilde O(-3)$サンプル複雑性をもたらす。
論文 参考訳（メタデータ） (2026-08-16T23:41:42Z) - Sample Complexity of Multicalibration for Multilevel Properties [52.27687531970317]
我々は、前のプロパティが固定されたときに各プロパティが識別可能な$k$プロパティの列に対する多重校正について検討する。
多対数的に多くの二元群が存在するにもかかわらず、多重校正誤差$varepsilon$を達成するには$widetilde(varepsilon-(k+2))$サンプルが必要である。
論文 参考訳（メタデータ） (2026-08-04T23:38:54Z) - Non-Asymptotic Variational Learning for Monotone Nonlinear Multiscale Elliptic Equations: Scale-Robust Primal-Dual Bounds and Strong-Form Statistical Ill-Conditioning [0.0]
我々は、一様非線形多スケール楕円型方程式の変分物理学インフォームド近似に対する非漸近近似、サンプリング、有限点最適化理論を開発した。
境界整合性ニューロ特徴クラスでは、集団誤差は近似、経験的四分法、投影的次数項に分けられ、全ての非近似定数は顕微鏡スケール(ヴァレプシロン)で均一である。
論文 参考訳（メタデータ） (2026-07-17T07:26:29Z) - Anisotropic local law for non-separable sample covariance matrices [10.181748307494608]
サンプル共分散行列の局所法則を$K = N-1sum_i=1N g_ig_ig_i*$ とすると、Rn$ の確率ベクトル $g_1, ldots, g_N は共通共分散$$と独立である。
我々は,条件付き平均ゼロ分布,ランダム特徴モデル$g = (Xw)$,ガウス測度など,我々の仮定を満たす非分離例のクラスについて論じる。
論文 参考訳（メタデータ） (2026-02-20T03:28:51Z) - Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。
我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。
次に,新しい2段階クラスタリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-02T05:10:40Z) - Complexity Analysis of Normalizing Constant Estimation: from Jarzynski Equality to Annealed Importance Sampling and beyond [40.79840141270367]
非正規化確率密度 $piproptomathrme-V$ が与えられたとき、正規化定数 $Z=int_mathbbRdmathrme-V(x)mathrmdx$ または自由エネルギー $F=-log Z$ はベイズ統計学、統計力学、機械学習において重要な問題である。
本稿では,逆拡散サンプリングに基づく新しいアルゴリズムを提案し,その複雑さを解析するためのフレームワークを構築し,マルチモーダリティに対処する際の効率を実証的に実証する。
論文 参考訳（メタデータ） (2025-02-07T00:05:28Z) - Statistical Efficiency of Distributional Temporal Difference Learning and Freedman's Inequality in Hilbert Spaces [24.03281329962804]
本稿では,分布時間差学習における非漸近的統計率に着目した。
生成モデルを用いたNTDの場合、$tildeO(varepsilon-2 mu_pi,min-1 (1-gamma)-3+t_mixmu_pi,min-1 (1-gamma)-1)$サンプル複雑性境界はワッサーシュタイン距離が1ドルである場合に必要である。
我々は新しいフリードマンの不平等を樹立する
論文 参考訳（メタデータ） (2024-03-09T06:19:53Z) - Random quantum circuits transform local noise into global white noise [118.18170052022323]
低忠実度状態におけるノイズランダム量子回路の測定結果の分布について検討する。
十分に弱くユニタリな局所雑音に対して、一般的なノイズ回路インスタンスの出力分布$p_textnoisy$間の相関(線形クロスエントロピーベンチマークで測定)は指数関数的に減少する。
ノイズが不整合であれば、出力分布は、正確に同じ速度で均一分布の$p_textunif$に近づく。
論文 参考訳（メタデータ） (2021-11-29T19:26:28Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。