論文の概要: PG3: Policy-Guided Planning for Generalized Policy Generation

• arxiv url: http://arxiv.org/abs/2204.10420v1
• Date: Thu, 21 Apr 2022 21:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 01:15:47.103208
• Title: PG3: Policy-Guided Planning for Generalized Policy Generation
• Title（参考訳）: PG3:一般政策創出のための政策指導型計画
• Authors: Ryan Yang, Tom Silver, Aidan Curtis, Tomas Lozano-Perez, Leslie Pack Kaelbling
• Abstract要約: 本稿では,政策探索の指針となるスコア関数に着目した一般政策探索手法について検討する。 このアプローチの背景にある主な考え方は、その候補を評価するためのメカニズムとして、トレーニング問題の計画立案に候補ポリシーを使うべきだということです。 6つのドメインの実証的な結果は、PG3が複数のベースラインよりも効率的かつ効果的に一般化されたポリシーを学習していることを確認する。
• 参考スコア（独自算出の注目度）: 25.418642034856365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A longstanding objective in classical planning is to synthesize policies that generalize across multiple problems from the same domain. In this work, we study generalized policy search-based methods with a focus on the score function used to guide the search over policies. We demonstrate limitations of two score functions and propose a new approach that overcomes these limitations. The main idea behind our approach, Policy-Guided Planning for Generalized Policy Generation (PG3), is that a candidate policy should be used to guide planning on training problems as a mechanism for evaluating that candidate. Theoretical results in a simplified setting give conditions under which PG3 is optimal or admissible. We then study a specific instantiation of policy search where planning problems are PDDL-based and policies are lifted decision lists. Empirical results in six domains confirm that PG3 learns generalized policies more efficiently and effectively than several baselines. Code: https://github.com/ryangpeixu/pg3
• Abstract（参考訳）: 古典計画における長年の目標は、同じ領域から複数の問題にまたがって一般化するポリシーを合成することである。 そこで本研究では,政策探索の指針となるスコア関数に着目し,一般的な政策探索手法について検討する。 2つのスコア関数の制限を示し、これらの制限を克服する新しいアプローチを提案する。 提案手法の背景にある政策指導型政策創出計画(PG3)は、その候補を評価するためのメカニズムとして、訓練問題計画の指針として候補政策を用いるべきである。 理論的な結果から、PG3が最適か許容可能な条件が与えられる。 次に、PDDLに基づく計画上の問題と、意思決定リストを解除する政策探索の特定インスタンス化について検討する。 6つのドメインの実証的な結果は、PG3が複数のベースラインよりも効率的かつ効果的に一般化されたポリシーを学習していることを確認する。 コード: https://github.com/ryangpeixu/pg3

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Towards A Unified Policy Abstraction Theory and Representation Learning Approach in Markov Decision Processes [39.94472154078338]
  本稿では,異なるレベルでの政策特徴に関連する3種類の政策抽象化を含む統一的な政策抽象化理論を提案する。 そして、それらを3つの政策指標に一般化し、政策の距離(すなわち類似性)を定量化する。 実証実験では,政策の差異を識別し,政策の一般化を伝達する上で,提案した政策指標と表現の有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-16T03:41:50Z)
• Sigmoidally Preconditioned Off-policy Learning:a new exploration method for reinforcement learning [14.991913317341417]
  政治以外のアクター・クリティカルアーキテクチャに着目し,P3O(Preconditioned Proximal Policy Optimization)と呼ばれる新しい手法を提案する。 P3Oは、保守政策反復(CPI)目標に事前条件を適用することにより、重要度サンプリングの高分散を制御できる。 その結果,P3Oはトレーニング過程においてPPOよりもCPI目標を最大化できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T09:38:04Z)
• Learning Generalized Policies Without Supervision Using GNNs [20.322992960599255]
  グラフニューラルネットワークを用いた古典的計画領域の一般政策学習の問題点を考察する。 我々は,単純で汎用的なGNNアーキテクチャを用いて,鮮明な実験結果を得ることを目的としている。 我々は、GNNの表現力と一階述語論理の$C_2$フラグメントの間に確立された関係を利用する。
  論文  参考訳（メタデータ） (2022-05-12T10:28:46Z)
• Generalizing Off-Policy Learning under Sample Selection Bias [15.733136147164032]
  本稿では,対象人口に一般化する学習政策の枠組みを提案する。 不確実性セットが適切に特定されている場合、トレーニングデータよりも悪いことができないため、我々の政策が対象人口に一般化されることを実証する。
  論文  参考訳（メタデータ） (2021-12-02T16:18:16Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• Learning General Policies from Small Examples Without Supervision [18.718037284357834]
  一般化計画は、計画ドメインの複数のインスタンスを一度に解決する一般的なポリシーの計算に関するものです。 近年、これらのポリシーは2つのステップで計算可能であることが示されている。まず、定性的数値計画問題(QNP)の形で適切な抽象化をサンプル計画から学習する。 本稿では,サンプルプランやqnpプランナーを必要とせず,より表現力のある汎用ポリシーを計算するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-01-03T19:44:13Z)
• Policy Evaluation Networks [50.53250641051648]
  我々は,簡潔な埋め込みにおいて重要なポリシー情報を保持できる,スケーラブルで差別化可能なフィンガープリント機構を導入する。 実験の結果、これらの3つの要素を組み合わせることで、トレーニングデータを生成するものよりも優れたポリシーを作成できることが示された。
  論文  参考訳（メタデータ） (2020-02-26T23:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。