論文の概要: Near-Optimal Sample Complexity in Reward-Free Kernel-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.07715v1
• Date: Tue, 11 Feb 2025 17:15:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:50.939092
• Title: Near-Optimal Sample Complexity in Reward-Free Kernel-Based Reinforcement Learning
• Title（参考訳）: Reward-free Kernel-based Reinforcement Learningにおける準最適サンプル複雑度
• Authors: Aya Kayal, Sattar Vakili, Laura Toni, Alberto Bernacchia,
• Abstract要約: カーネルベースのRLにおける準最適ポリシーの設計には,どの程度のサンプルが必要なのかを問う。 既存の作業は、カーネル関数のクラスに関する制限的な仮定の下でこの問題に対処する。 我々は、カーネルの幅広いクラスとより単純なアルゴリズムを用いて、この根本的な問題に取り組む。
• 参考スコア（独自算出の注目度）: 17.508280208015943
• License:
• Abstract: Reinforcement Learning (RL) problems are being considered under increasingly more complex structures. While tabular and linear models have been thoroughly explored, the analytical study of RL under nonlinear function approximation, especially kernel-based models, has recently gained traction for their strong representational capacity and theoretical tractability. In this context, we examine the question of statistical efficiency in kernel-based RL within the reward-free RL framework, specifically asking: how many samples are required to design a near-optimal policy? Existing work addresses this question under restrictive assumptions about the class of kernel functions. We first explore this question by assuming a generative model, then relax this assumption at the cost of increasing the sample complexity by a factor of H, the length of the episode. We tackle this fundamental problem using a broad class of kernels and a simpler algorithm compared to prior work. Our approach derives new confidence intervals for kernel ridge regression, specific to our RL setting, which may be of broader applicability. We further validate our theoretical findings through simulations.
• Abstract（参考訳）: 強化学習(RL)問題は、ますます複雑な構造の下で検討されている。 表層モデルと線形モデルは徹底的に研究されているが、非線形関数近似(特にカーネルモデル)に基づくRLの解析研究は、その表現能力と理論的トラクタビリティの強さから、近年は注目を集めている。 この文脈では、報酬のないRLフレームワークにおけるカーネルベースのRLの統計的効率に関する問題について、具体的には、「ほぼ最適のポリシーを設計するには、どのくらいのサンプルが必要であるか?」と問う。 既存の作業は、カーネル関数のクラスに関する制限的な仮定の下でこの問題に対処する。 まず、生成モデルを仮定し、H因子、エピソードの長さによってサンプルの複雑さを増大させるコストでこの仮定を緩和する。 我々は、カーネルの幅広いクラスとより単純なアルゴリズムを用いて、この根本的な問題に取り組む。 提案手法は,RL設定に特有なカーネルリッジ回帰のための新しい信頼区間を導出する。 シミュレーションによる理論的な知見をさらに検証する。

関連論文リスト

• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• The Effective Horizon Explains Deep RL Performance in Stochastic Environments [21.148001945560075]
  強化学習(Reinforcement Learning, RL)理論は、最小の複雑性サンプル境界の証明に重点を置いている。 本稿では,RLアルゴリズムSQIRLを提案する。このアルゴリズムはランダムに探索してロールアウトを収集することで,最適に近いポリシーを反復的に学習する。 我々は、SQIRLを利用して、指数的に「効果的な地平線」のルックアヘッドにのみ現れるRLのインスタンス依存のサンプル複雑性境界を導出し、近似に使用されるクラスの複雑性を導出する。
  論文  参考訳（メタデータ） (2023-12-13T18:58:56Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Sample Complexity of Kernel-Based Q-Learning [11.32718794195643]
  任意に大規模に割引されたMDPにおいて,$epsilon$-optimal Policyを求める非パラメトリックQ-ラーニングアルゴリズムを提案する。 我々の知る限りでは、このような一般モデルの下では、有限サンプルの複雑さを示す最初の結果である。
  論文  参考訳（メタデータ） (2023-02-01T19:46:25Z)
• The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks [1.6519302768772166]
  テストリスクとカーネルリッジ回帰の他の一般化指標について、簡単なクローズドフォーム推定を導出する。 関数の正規直交基底を学習するKRRの能力を制限するシャープな保存法則を同定する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:07Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。