Fugu-MT 論文翻訳(概要): Near Minimax Rate for Quantile Distributional Reinforcement Learning

論文の概要: Near Minimax Rate for Quantile Distributional Reinforcement Learning

arxiv url: http://arxiv.org/abs/2610.29595v1
Date: Wed, 21 Oct 2026 11:35:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 09:50:43.24897
Title: Near Minimax Rate for Quantile Distributional Reinforcement Learning
Title（参考訳）: 量子分布強化学習のための近距離最小速度
Abstract要約: 我々は、経験的マルコフ決定過程から量子的不動点推定器$bm_m(n)$を構築し、ワッサーシュタイン距離の下で非漸近誤差境界を確立する。報酬密度が 0 から一様に有界であるとき、すべての解像度に対して同時に有界なroot-$n$高確率が得られる。 p>2$ の場合、係数 $m1/2-1/p$ のルート-$n$ と、すべての有限に対して遅くて解像度に依存しない $n-1/p$ を定めます。
参考スコア（独自算出の注目度）: 9.454986540713655
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we study quantile distributional policy evaluation, where the return distribution under a given policy is approximated by the quantile Bellman fixed point $\bmη_m$. We investigate the statistical accuracy of estimating $\bmη_m$ across quantile resolutions under Wasserstein distances. Assuming access to a generative model, we construct a quantile fixed point estimator $\bmη_m^{(n)}$ from an empirical Markov decision process and establish non-asymptotic error bounds under Wasserstein distances. When reward densities are uniformly bounded away from zero, we obtain a root-$n$ high-probability bound simultaneously over all resolutions $m$ and all Wasserstein orders $1\le p\le\infty$. When reward densities vanish at the support endpoints, we show that continuity and endpoint monotonicity suffice to preserve the same resolution-independent rate for $1\le p\le2$. For $p>2$, we establish a root-$n$ bound with coefficient $m^{1/2-1/p}$, together with a slower, resolution-independent $n^{-1/p}$ bound for every finite $p>2$. We further obtain resolution-independent $W_\infty$ consistency governed by the continuity modulus of reward quantile functions. To investigate the sharpness of these bounds, we characterize the exact local asymptotic minimax risk at each fixed resolution as the expected Wasserstein-coordinate norm of the efficient Gaussian limit and prove that our estimator attains it. We then examine the resolution dependence of this optimal local risk. A regular one-state instance has resolution-independent local risk constants, whereas a single endpoint-vanishing two-state instance exhibits growth of order $m^{1/2-1/p}$, up to logarithmic factors along a resolution subsequence, for every $p>2$.
Abstract（参考訳）: 本稿では、所定のポリシの下での戻り分布を、量子ベルマン固定点$\bmη_m$で近似する量子分布政策評価について検討する。ワッサーシュタイン距離の下での量子分解能における$\bmη_m$を推定する統計的精度について検討する。生成モデルへのアクセスを仮定すると、経験的マルコフ決定過程から量子的不動点推定器$\bmη_m^{(n)}$を構築し、ワッサーシュタイン距離の下で非漸近誤差境界を確立する。報酬密度が 0 から一様有界であるとき、すべての解像度$m$ と全てのワッサーシュタイン次数 $1\le p\le\infty$ を同時に有界なルート$n$高確率が得られる。支持端点で報酬密度がなくなると、連続性と終点単調性は、同じ分解非依存の率を 1 に対して 1 ドル p\le2$ で維持するのに十分であることを示す。 p>2$ に対して、係数 $m^{1/2-1/p}$ のルート-$n$ と、すべての有限$p>2$ に対する解独立な $n^{-1/p}$ とが成立する。さらに、報酬量子関数の連続係数に支配される分解独立$W_\infty$一貫性を得る。これらの境界のシャープさを調べるために、各固定解像度における正確な局所漸近的ミニマックスリスクを、効率的なガウス極限のワッサーシュタイン座標ノルムとして特徴づけ、我々の推定器がそれを達成することを証明した。次に、この最適局所リスクの分解能依存性について検討する。通常の一状態のインスタンスは分解非依存の局所的リスク定数を持ち、一方、1つのエンドポイントの2状態のインスタンスは位数$m^{1/2-1/p}$で、分解サブシーケンスに沿った対数因子まで、p>2$で成長する。

関連論文リスト

Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
論文参考訳（メタデータ） (2026-09-30T21:03:03Z)
On the SoS Certifiability of Log-Concave Distributions [51.56484100374058]
圏 $(Cm)m|v|m - mathbbE_Xsim Plangle X,vranglem$ は、すべての偶数 mge2$ に対する平方の和であり、$C>0$ は普遍定数である。これにより、コタリとシュタインハルト(arXiv:1711.07465)の定理におけるポアンカレ定数への依存を排除し、対数凹面分布の最適モーメント境界を回復する。
論文参考訳（メタデータ） (2026-09-24T16:48:02Z)
A Finite Sample Analysis for Quantile Temporal Difference Learning in Distributional Reinforcement Learning [18.875039998204848]
分散強化学習における同期量子時間差分学習(QTD)のグローバル有限サンプル保証を確立する。大域的な比較論は、報酬累積分布関数の順序単調性と分布ベルマン作用素の$W_infty$収縮に基づいて、局所近傍に任意に安定性をもたらす。
論文参考訳（メタデータ） (2026-08-27T16:16:09Z)
A Frame-Spread Lower Bound for Quantum Entropy Estimation under Fixed Rank-One Measurements [0.5076419064097734]
固定階数1の独立な結果から,$d$次元量子状態のフォン・ノイマンエントロピーを推定する。結果は、コピー間で独立して繰り返される固定された測定、適応的および集合的プロトコル、コピー間で共通の再利用プロトコルがカバーされないことを懸念している。
論文参考訳（メタデータ） (2026-08-25T15:44:26Z)
Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文参考訳（メタデータ） (2026-08-06T19:49:48Z)
Statistical Efficiency and Inference of Quantile Distributional Reinforcement Learning [16.700969464418936]
統計的効率の観点から, 量子化に基づく分布強化学習について検討する。 W_infty$ の上限の下で $_m(n)$ と $_m$ の非漸近誤差を定めている。量子化に基づく推定器は、無限次元の極限においてパラメトリックに効率的であることを示す。
論文参考訳（メタデータ） (2026-07-09T13:06:07Z)
Estimation of the sub-Gaussian parameter [7.4076878426925035]
準ガウス確率変数 $X$ は 2_* = s_upin mathbbR L()$ ここで $L() = frac22 log mathbbE eX$ は重み付き累積生成関数である。ガウス以下の確率変数が多用されているにもかかわらず、$2_*$の推定はほとんど注目されず、まだよく理解されていない。
論文参考訳（メタデータ） (2026-06-04T16:48:31Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
論文参考訳（メタデータ） (2022-12-01T15:57:58Z)
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。