論文の概要: Predictable MDP Abstraction for Unsupervised Model-Based RL

• arxiv url: http://arxiv.org/abs/2302.03921v2
• Date: Sat, 3 Jun 2023 23:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:07:46.515459
• Title: Predictable MDP Abstraction for Unsupervised Model-Based RL
• Title（参考訳）: 教師なしモデルベースRLの予測可能なMDP抽象化
• Authors: Seohong Park, Sergey Levine
• Abstract要約: 予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 93.91375268580806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key component of model-based reinforcement learning (RL) is a dynamics model that predicts the outcomes of actions. Errors in this predictive model can degrade the performance of model-based controllers, and complex Markov decision processes (MDPs) can present exceptionally difficult prediction problems. To mitigate this issue, we propose predictable MDP abstraction (PMA): instead of training a predictive model on the original MDP, we train a model on a transformed MDP with a learned action space that only permits predictable, easy-to-model actions, while covering the original state-action space as much as possible. As a result, model learning becomes easier and more accurate, which allows robust, stable model-based planning or model-based RL. This transformation is learned in an unsupervised manner, before any task is specified by the user. Downstream tasks can then be solved with model-based control in a zero-shot fashion, without additional environment interactions. We theoretically analyze PMA and empirically demonstrate that PMA leads to significant improvements over prior unsupervised model-based RL approaches in a range of benchmark environments. Our code and videos are available at https://seohong.me/projects/pma/
• Abstract（参考訳）: モデルベース強化学習(RL)の重要な構成要素は、アクションの結果を予測するダイナミクスモデルである。 この予測モデルの誤差はモデルベースコントローラの性能を低下させ、複雑なマルコフ決定プロセス(MDP)は極めて難しい予測問題を示す。 この問題を緩和するために、予測可能なMDP抽象化(PMA)を提案し、元のMDP上で予測モデルをトレーニングする代わりに、予測可能かつ容易なモデルアクションのみを許容する学習アクション空間を持つ変換MDP上でモデルをトレーニングし、元の状態アクション空間をできるだけカバーする。 その結果、モデル学習はより簡単で正確になり、堅牢で安定したモデルベースの計画やモデルベースのrlが可能になる。 この変換は、ユーザがタスクを指定する前に、教師なしの方法で学習される。 ダウンストリームタスクは、追加の環境相互作用なしにゼロショットでモデルベースの制御で解決できる。 我々はPMAを理論的に解析し、PMAが様々なベンチマーク環境における教師なしモデルベースRLアプローチよりも大きな改善をもたらすことを実証した。 私たちのコードとビデオはhttps://seohong.me/projects/pma/で閲覧できます。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Learning Residual Model of Model Predictive Control via Random Forests for Autonomous Driving [13.865293598486492]
  自律運転における予測制御(MPC)の大きな問題は、システムモデルの予測と計算の矛盾である。 本稿では、MPC追跡精度をプログラム(QP)問題最適化として再構成し、プログラム(QP)が効果的に解けるようにする。
  論文  参考訳（メタデータ） (2023-04-10T03:32:09Z)
• Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning [32.24146877835396]
  本稿では,モデルロールアウト処理を逐次決定問題として扱うフレームワークであるemphPlan To Predict (P2P)を提案する。 P2Pは、いくつかの課題のあるベンチマークタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-20T10:17:22Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Bootstrapped model learning and error correction for planning with uncertainty in model-based RL [1.370633147306388]
  自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。 本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。 本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-15T15:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。