論文の概要: PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration

• arxiv url: http://arxiv.org/abs/2107.07410v1
• Date: Thu, 15 Jul 2021 15:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 13:57:21.906817
• Title: PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration
• Title（参考訳）: PC-MLP:政策カバー探索によるモデルベース強化学習
• Authors: Yuda Song, Wen Sun
• Abstract要約: 本研究では,カーネル化レギュレータ(KNR)と線形マルコフ決定過程(MDP)のモデルベースアルゴリズムについて検討する。 両方のモデルに対して、我々のアルゴリズムはサンプルの複雑さを保証し、プランニングオラクルへのアクセスのみを使用する。 また,提案手法は報酬のない探索を効率的に行うことができる。
• 参考スコア（独自算出の注目度）: 15.173628100049129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-based Reinforcement Learning (RL) is a popular learning paradigm due to its potential sample efficiency compared to model-free RL. However, existing empirical model-based RL approaches lack the ability to explore. This work studies a computationally and statistically efficient model-based algorithm for both Kernelized Nonlinear Regulators (KNR) and linear Markov Decision Processes (MDPs). For both models, our algorithm guarantees polynomial sample complexity and only uses access to a planning oracle. Experimentally, we first demonstrate the flexibility and efficacy of our algorithm on a set of exploration challenging control tasks where existing empirical model-based RL approaches completely fail. We then show that our approach retains excellent performance even in common dense reward control benchmarks that do not require heavy exploration. Finally, we demonstrate that our method can also perform reward-free exploration efficiently. Our code can be found at https://github.com/yudasong/PCMLP.
• Abstract（参考訳）: モデルベース強化学習(RL)は、モデルフリーのRLと比較して潜在的サンプル効率が高いため、一般的な学習パラダイムである。 しかし、既存の経験的モデルに基づくRLアプローチには探索能力がない。 本研究は,KNR(Kernelized Non Regulator)とMDP(Line Markov Decision Processs)の両方に対する,計算的,統計的に効率的なモデルベースアルゴリズムについて検討する。 どちらのモデルに対しても,このアルゴリズムは多項式サンプルの複雑さを保証し,計画オラクルへのアクセスのみを使用する。 実験では,既存の経験的モデルベースRLアプローチが完全に失敗する制御課題の探索において,アルゴリズムの柔軟性と有効性を示す。 そこで本手法は,高次探索を必要としない高密度報酬制御ベンチマークにおいても優れた性能を保っていることを示す。 最後に,提案手法は報酬のない探索を効率的に行うことができることを示す。 私たちのコードはhttps://github.com/yudasong/pcmlpにあります。

関連論文リスト

• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Active Learning for Control-Oriented Identification of Nonlinear Systems [26.231260751633307]
  本稿では,非線形力学の一般クラスに適した能動学習アルゴリズムの最初の有限サンプル解析について述べる。 ある設定では、アルゴリズムの過剰な制御コストは、対数係数まで、最適な速度を達成する。 我々は,非線形システムの制御におけるアクティブな制御指向探索の利点を示すとともに,シミュレーションにおける我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-04-13T15:40:39Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Reinforcement Learning with Partial Parametric Model Knowledge [3.3598755777055374]
  我々は,環境の完全無知と完全知識のギャップを埋めるために,継続的制御のための強化学習手法を適用した。 本手法は,モデルフリーRLとモデルベース制御の両方からインスピレーションを得て,PLSPI(Partial Knowledge Least Squares Policy Iteration)を提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:04:35Z)
• MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations [36.44386146801296]
  サンプルの低さは、現実世界のアプリケーションに深層強化学習(RL)アルゴリズムをデプロイする上で、依然として最大の課題である。 モデルベースRLのサンプル効率を劇的に向上させることができるのは,ごく少数のデモンストレーションのみである。 本研究では,3つの複雑なビジュオモータ制御領域を実験的に検討し,スパース報酬タスクの完了に150%-250%成功していることを確認した。
  論文  参考訳（メタデータ） (2022-12-12T04:28:50Z)
• CostNet: An End-to-End Framework for Goal-Directed Reinforcement Learning [9.432068833600884]
  強化学習(Reinforcement Learning, RL)は、環境における報酬の最大化を目指すエージェントに関する一般的なフレームワークである。 モデルベースとモデルフリー強化学習の2つのアプローチがあり、いくつかの分野において具体的な結果を示している。 本稿ではマルコフ決定過程における2つの状態間の距離を予測するための新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:16:14Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Learning Robust Controllers Via Probabilistic Model-Based Policy Search [2.886634516775814]
  このような方法で学習したコントローラが、環境の小さな摂動の下で頑健であり、一般化できるかどうかを考察する。 ガウス過程のダイナミックスモデルにおける確率雑音に対する低拘束がポリシー更新を規則化し、より堅牢なコントローラが得られることを示す。
  論文  参考訳（メタデータ） (2021-10-26T11:17:31Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。