論文の概要: Online Sparse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2011.04018v4
• Date: Wed, 10 Feb 2021 15:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 08:20:29.448066
• Title: Online Sparse Reinforcement Learning
• Title（参考訳）: オンラインスパース強化学習
• Authors: Botao Hao, Tor Lattimore, Csaba Szepesv\'ari, Mengdi Wang
• Abstract要約: 固定地平線, スパース線形決定過程(MDP)におけるオンライン強化学習の難しさについて検討する。 この場合、よく条件付きデータを収集するポリシーが存在するとしても、線形後悔は一般的に避けられないことを示す。 このことは、大規模な行動において、学習の難しさは、優れた探索政策を見つけるのが困難であることに起因していることを示している。
• 参考スコア（独自算出の注目度）: 60.44832065993122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the hardness of online reinforcement learning in fixed horizon, sparse linear Markov decision process (MDP), with a special focus on the high-dimensional regime where the ambient dimension is larger than the number of episodes. Our contribution is two-fold. First, we provide a lower bound showing that linear regret is generally unavoidable in this case, even if there exists a policy that collects well-conditioned data. The lower bound construction uses an MDP with a fixed number of states while the number of actions scales with the ambient dimension. Note that when the horizon is fixed to one, the case of linear stochastic bandits, the linear regret can be avoided. Second, we show that if the learner has oracle access to a policy that collects well-conditioned data then a variant of Lasso fitted Q-iteration enjoys a nearly dimension-free regret of $\tilde{O}( s^{2/3} N^{2/3})$ where $N$ is the number of episodes and $s$ is the sparsity level. This shows that in the large-action setting, the difficulty of learning can be attributed to the difficulty of finding a good exploratory policy.
• Abstract（参考訳）: 本研究では,オンライン強化学習の難易度,スパース線形マルコフ決定過程(sparse linear markov decision process:mdp)について検討し,周辺次元がエピソード数よりも大きい高次元環境に着目した。 私たちの貢献は2倍です。 まず,良質なデータを集めるポリシーが存在するとしても,線形後悔は一般的に避けられないことを示す下界を示す。 下位境界構成では、状態数が一定であるMDPを使用し、アクションの数は周囲次元とともにスケールする。 水平線が1に固定されたとき、線形確率帯域の場合、線形後悔は避けられることに注意。 第二に、もし学習者がoracleが十分に条件付けられたデータを集めるポリシーにアクセスできるなら、lassoに適合したq-iterationの変種は$\tilde{o}( s^{2/3} n^{2/3})$というほぼ無次元の後悔を味わう。 これは, 大規模行動環境では, 学習の難しさは, 優れた探索的方針を見つけることの難しさに起因していると考えられる。

関連論文リスト

• Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs [63.47351876442425]
  本研究は,完全情報フィードバックの下で,相変わらずの相変わらずの線形混合MDPについて検討した。 本稿では,占領率に基づく手法と政策に基づく手法の利点を組み合わせた新しいアルゴリズムを提案する。 我々のアルゴリズムは$widetildemathcalO(d sqrtH3 K + sqrtHK(H + barP_K$)$ dynamic regret, ここで$d$は特徴次元である。
  論文  参考訳（メタデータ） (2024-11-05T13:55:52Z)
• First-Order Regret in Reinforcement Learning with Linear Function Approximation: A Robust Estimation Approach [57.570201404222935]
  我々は,大規模状態空間を用いた強化学習において,$mathcalO(sqrtV_1star K)$として,後悔のスケーリングが得られることを示す。 この結果を得るためには,少なくとも2乗推定に基づく既存手法は不十分であることを示す。
  論文  参考訳（メタデータ） (2021-12-07T00:29:57Z)
• Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs [12.450760567361531]
  オンライン学習問題では,低分散の活用がパフォーマンス保証の厳密化に重要な役割を果たしている。 本研究は, 後悔の限界を著しく改善する新たな分析法を提案する。 我々の分析は、新しい楕円型ポテンシャル数補題に依存している。
  論文  参考訳（メタデータ） (2021-11-05T06:47:27Z)
• High-Dimensional Sparse Linear Bandits [67.9378546011416]
  データ・ポーア・システマティクスにおける疎線形包帯に対して、新しい$Omega(n2/3)$ dimension-free minimax regret lower boundを導出する。 また、関連する特徴に対する信号の大きさに関する追加の仮定の下で、次元のない$O(sqrtn)$ regret上界も証明する。
  論文  参考訳（メタデータ） (2020-11-08T16:48:11Z)
• Efficient Learning in Non-Stationary Linear Markov Decision Processes [17.296084954104415]
  非定常線形(低ランク)マルコフ決定過程(MDP)におけるエピソード強化学習の研究 OPT-WLSVI は最小二乗の重み付け値に基づく楽観的なモデルフリーのアルゴリズムであり、指数重み付けを用いて過去のデータをスムーズに忘れる。 我々のアルゴリズムは、各時点で最高のポリシーと競合するときに、$d$$$widetildemathcalO(d5/4H2 Delta1/4 K3/4)$で上限付けられた後悔を実現する。
  論文  参考訳（メタデータ） (2020-10-24T11:02:45Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Is Long Horizon Reinforcement Learning More Difficult Than Short Horizon Reinforcement Learning? [108.94173231481355]
  長い地平線を計画する学習は、エピソード強化学習問題における中心的な課題である。 長地平線RLは、少なくともミニマックス感覚において、短地平線RLよりも困難ではないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T17:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。