論文の概要: Minimax Regret for Sobolev Kernel-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.34045v1
• Date: Sun, 25 Oct 2026 04:12:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.525497
• Title: Minimax Regret for Sobolev Kernel-Based Reinforcement Learning
• Title（参考訳）: ソボレフカーネルに基づく強化学習のためのミニマックスレグレット
• Abstract要約: エピソディックカーネルを用いた強化学習におけるミニマックス後悔率について検討した。 我々は、観察された報酬と遷移からこのレートを達成するソボレフ最適値イット(SOVI)を導入する。
• 参考スコア（独自算出の注目度）: 15.386375612838371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the minimax regret rate for episodic kernel-based reinforcement learning, where the expected reward and transition density belong to a Sobolev reproducing kernel Hilbert space, with continuous state and action spaces, and adversarial initial states. For Sobolev smoothness parameter $ν>0$, state dimension $d_S$, and action dimension $d_A$, we prove that the minimax expected regret over $T$ episodes is $\widetildeΘ(T^{\max\{e_A,e_B\}})$, where $e_A=\frac{ν+d_A}{2ν+d_A}$, $e_B=\frac{ν+d_A+3d_S/2}{2ν+d_A+2d_S}$ with the other model parameters fixed. The two exponents reflect the distinct difficulties of action selection and learning across states. We introduce Sobolev Optimal Value Iteration (SOVI), which attains this rate from observed rewards and transitions. For fixed smoothness and reference-kernel lengthscale, its regret bound has a prefactor polynomial in the state-action dimension $d=d_S+d_A$, horizon $H$, transition and reward RKHS norm bounds $u,B_r$, and kernel norm-comparison factor $Λ$, up to logarithmic factors. The algorithm separates initial action selection from continuation-value estimation and combines local polynomial approximation with the shared RKHS structure of the approximation errors. Our matching upper and lower bounds determine the optimal dependence on the number of episodes for Sobolev kernel-based reinforcement learning. Thus, we partially address the open problem in Vakili(2024) under the condition of the Sobolev kernel setup.
• Abstract（参考訳）: 本研究では, 期待される報酬と遷移密度が, 連続状態と作用空間, 対向初期状態を持つソボレフ再生カーネルヒルベルト空間に属する, エピソディックなカーネルベース強化学習におけるミニマックス後悔率について検討する。 ソボレフの滑らか度パラメータ $ν>0$, 状態次元 $d_S$, 行動次元 $d_A$ に対して、$T$ のエピソードに対する最小限の後悔は $\widetildee(T^{\max\{e_A,e_B\}})$, where $e_A=\frac{ν+d_A}{2ν+d_A}$, $e_B=\frac{ν+d_A+3d_S/2}{2ν+d_A+2d_S}$ であることを示す。 この2つの指数は、州全体での行動選択と学習の難しさを反映している。 我々は、観測された報酬と遷移からこのレートを達成するソボレフ最適値イテレーション(SOVI)を導入する。 固定な滑らかさと基準カーネル長スケールに対して、その残差境界は状態-作用次元$d=d_S+d_A$, horizon $H$, transition and reward RKHS norm bounds $u,B_r$, and kernel norm-comparison factor $\$, over logarithmic factors のプレファクタ多項式を持つ。 このアルゴリズムは、初期動作選択を継続値推定から分離し、局所多項式近似と近似誤差の共有RKHS構造を組み合わせる。 一致する上境界と下限は、ソボレフカーネルに基づく強化学習におけるエピソード数に最適な依存度を決定する。 したがって、Sobolevカーネル設定条件下でのVakili(2024)の開問題に部分的に対処する。

関連論文リスト

• Sharp Critical Minimax Laws and No-Learning Thresholds in Continuous-Time Adaptive Control [11.796630967998544]
  本研究では,ベクトル制御の未知のゲイン,スカラー状態,2次動作コスト,円滑な凸終端コストによるエピソード連続時間制御について検討した。 臨界法則$ (H)asymp 4sqrtlog/) qquad を下界と上界に一致する値で証明する。
  論文  参考訳（メタデータ） (2026-09-27T03:26:48Z)
• Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies [10.511277414974613]
  ケルネル平均離散関数のワッサーシュタイン勾配流の定量的収束について検討した。 我々の設定は、特に無限幅および連続時間制限における浅層ニューラルネットワークのトレーニング力学をカバーしている。
  論文  参考訳（メタデータ） (2026-03-02T15:32:54Z)
• A Gap Between Decision Trees and Neural Networks [2.4140387101794283]
  ここでは、解釈可能性の概念として用いられる決定境界の幾何学的単純さが、浅いニューラルネットワークによる軸整列決定木の正確な近似と矛盾する場合について検討する。 分類するために、有限$mathrmRmathrmTV$で滑らかな障壁スコア$S_A$を構築し、その固定しきい値$=1$がボックスを正確に回復する。 長方形の合成結合の実験は、結果として生じる精度-複雑さのトレードオフを示している。
  論文  参考訳（メタデータ） (2026-01-07T13:40:30Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Optimal minimax rate of learning nonlocal interaction kernels [6.521340666211977]
  交換可能な分布の広いクラスに対して$betageq 1/4$のとき、最適収束率を達成するテーマ最小二乗推定器(tLSE)を導入する。 より低いミニマックス速度はファノ・ツィバコフ仮説試験法を用いて導出される。
  論文  参考訳（メタデータ） (2023-11-28T15:01:58Z)
• Horizon-Free and Variance-Dependent Reinforcement Learning for Latent Markov Decision Processes [62.90204655228324]
  我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。 我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
  論文  参考訳（メタデータ） (2022-10-20T21:32:01Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。