論文の概要: The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective

• arxiv url: http://arxiv.org/abs/2501.15910v1
• Date: Mon, 27 Jan 2025 10:01:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:59.006585
• Title: The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective
• Title（参考訳）: オンライン強化学習のサンプル複雑さ--マルチモデルの視点から
• Authors: Michael Muehlebach, Zhiyu He, Michael I. Jordan,
• Abstract要約: 連続状態と行動空間を持つ非線形力学系に対するオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、その単純さ、事前知識を組み込む能力、そして良心的な過渡的行動のために、実際に有用である可能性が高い。
• 参考スコア（独自算出の注目度）: 55.15192437680943
• License:
• Abstract: We study the sample complexity of online reinforcement learning for nonlinear dynamical systems with continuous state and action spaces. Our analysis accommodates a large class of dynamical systems ranging from a finite set of nonlinear candidate models to models with bounded and Lipschitz continuous dynamics, to systems that are parametrized by a compact and real-valued set of parameters. In the most general setting, our algorithm achieves a policy regret of $\mathcal{O}(N \epsilon^2 + \mathrm{ln}(m(\epsilon))/\epsilon^2)$, where $N$ is the time horizon, $\epsilon$ is a user-specified discretization width, and $m(\epsilon)$ measures the complexity of the function class under consideration via its packing number. In the special case where the dynamics are parametrized by a compact and real-valued set of parameters (such as neural networks, transformers, etc.), we prove a policy regret of $\mathcal{O}(\sqrt{N p})$, where $p$ denotes the number of parameters, recovering earlier sample-complexity results that were derived for linear time-invariant dynamical systems. While this article focuses on characterizing sample complexity, the proposed algorithms are likely to be useful in practice, due to their simplicity, the ability to incorporate prior knowledge, and their benign transient behavior.
• Abstract（参考訳）: 連続状態と行動空間を持つ非線形力学系に対するオンライン強化学習のサンプル複雑性について検討した。 我々の分析は、有限個の非線形候補モデルから有界およびリプシッツ連続力学モデル、コンパクトで実数値のパラメータ集合によってパラメータ化されるシステムまで、幅広い力学系に対応している。 最も一般的な設定では、我々のアルゴリズムは、$\mathcal{O}(N \epsilon^2 + \mathrm{ln}(m(\epsilon))/\epsilon^2)$, where $N$ is the time horizon, $\epsilon$ is a user-specified discretization width, $m(\epsilon)$はパッキング数によって考慮されている関数クラスの複雑さを測定する。 力学がコンパクトで実数値のパラメータ集合(ニューラルネットワークや変換器など)によってパラメータ化される特別な場合、$p$はパラメータの数を表し、線形時間不変の力学系のために導出された初期のサンプル複雑性の結果を復元する、$\mathcal{O}(\sqrt{N p})$の政策後悔を証明する。 本稿は,サンプルの複雑さを特徴付けることに重点を置いているが,提案アルゴリズムは単純さ,事前知識を組み込む能力,良質な過渡的行動などにより,実際に有用である可能性が高い。

関連論文リスト

• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Sample Efficient Reinforcement Learning with Partial Dynamics Knowledge [0.704590071265998]
  オンラインQ-ラーニング手法のサンプル複雑性について,動的知識が利用可能であったり,効率的に学習できたりした場合に検討する。 我々は,$f$の完全知識の下で,$tildemathcalO(textPoly(H)sqrtSAT)$ regretを達成する楽観的なQ-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-19T19:53:58Z)
• Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs [60.40452803295326]
  線形マルコフ決定過程(MDP)を学習するための新たな報酬なしアルゴリズムを提案する。 我々のアルゴリズムの核心は、探索駆動の擬似回帰を用いた不確実性重み付き値目標回帰である。 我々のアルゴリズムは$tilde O(d2varepsilon-2)$ episodesを探索するだけで、$varepsilon$-optimal policyを見つけることができる。
  論文  参考訳（メタデータ） (2023-03-17T17:53:28Z)
• Sample Complexity of Kernel-Based Q-Learning [11.32718794195643]
  任意に大規模に割引されたMDPにおいて,$epsilon$-optimal Policyを求める非パラメトリックQ-ラーニングアルゴリズムを提案する。 我々の知る限りでは、このような一般モデルの下では、有限サンプルの複雑さを示す最初の結果である。
  論文  参考訳（メタデータ） (2023-02-01T19:46:25Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
  力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。 我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。 我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
  論文  参考訳（メタデータ） (2022-02-16T19:38:54Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Adaptive Online Estimation of Piecewise Polynomial Trends [23.91519151164528]
  我々は,2乗誤差損失と雑音勾配フィードバックを伴う非定常最適化の枠組みを考察する。 非パラメトリック回帰理論から動機づけられた新しい変分制約を導入する。 我々は、同じ方針が、他のいくつかの非パラメトリックな関心の族に最適であることを示す。
  論文  参考訳（メタデータ） (2020-09-30T19:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。