論文の概要: CAMEO: Curiosity Augmented Metropolis for Exploratory Optimal Policies

• arxiv url: http://arxiv.org/abs/2205.09433v1
• Date: Thu, 19 May 2022 09:48:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-21 02:52:45.236680
• Title: CAMEO: Curiosity Augmented Metropolis for Exploratory Optimal Policies
• Title（参考訳）: CAMEO:好奇心を増したメトロポリタンの探索的最適政策
• Authors: Mohamed Alami Chehboune and Fernando Llorente and Rim Kaddah and Luca Martino and Jesse Read
• Abstract要約: 最適政策の分布を考察し研究する。 実験シミュレーションでは、CAMEOは古典的な制御問題を全て解決するポリシーを実際に得ることを示した。 さらに,本論文では,異なるリスクプロファイルを示す異なるポリシーを,解釈可能性に関する興味深い実践的応用に対応して提示する。
• 参考スコア（独自算出の注目度）: 62.39667564455059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning has drawn huge interest as a tool for solving optimal control problems. Solving a given problem (task or environment) involves converging towards an optimal policy. However, there might exist multiple optimal policies that can dramatically differ in their behaviour; for example, some may be faster than the others but at the expense of greater risk. We consider and study a distribution of optimal policies. We design a curiosity-augmented Metropolis algorithm (CAMEO), such that we can sample optimal policies, and such that these policies effectively adopt diverse behaviours, since this implies greater coverage of the different possible optimal policies. In experimental simulations we show that CAMEO indeed obtains policies that all solve classic control problems, and even in the challenging case of environments that provide sparse rewards. We further show that the different policies we sample present different risk profiles, corresponding to interesting practical applications in interpretability, and represents a first step towards learning the distribution of optimal policies itself.
• Abstract（参考訳）: 強化学習は最適な制御問題を解決するツールとして大きな関心を集めている。 与えられた問題(タスクまたは環境)を解決するには、最適なポリシーをまとめる必要がある。 しかし、それらの行動に劇的に異なる複数の最適ポリシーが存在する可能性があり、例えば、あるものは他のものよりも速いが、より大きなリスクを犠牲にしてある。 我々は最適な政策の分布を検討し研究する。 我々は,好奇心を増強したメトロポリス・アルゴリズム(CAMEO)を設計し,最適ポリシーをサンプリングし,これらのポリシーが様々な振る舞いを効果的に適用できるようにした。 実験シミュレーションでは、CAMEOは古典的な制御問題を全て解決するポリシーを実際に得ており、スパース報酬を提供する環境においても問題となる。 さらに,我々がサンプリングした異なる政策は,異なるリスクプロファイルを示し,解釈可能性における興味深い実用的応用に対応し,最適な政策自体の分布を学ぶための第一歩であることを示す。

関連論文リスト

• Oracle-Efficient Reinforcement Learning for Max Value Ensembles [7.404901768256101]
  大または無限の状態空間における強化学習(RL)は、理論上、実験的に困難である。 この作業では、$textitmax-following Policy$と競合することを目指しています。 我々の主な成果は、構成ポリシーのみにアクセスすると、最大フォローポリシーと競合する効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-27T01:08:23Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Discovering Policies with DOMiNO: Diversity Optimization Maintaining Near Optimality [26.69352834457256]
  我々はこの問題を制約付きマルコフ決定過程として定式化する。 目的は、集合内の政策の国家占有率間の距離によって測定される多様な政策を見つけることである。 本手法は様々な領域において多様かつ有意義な振る舞いを発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-26T17:40:52Z)
• Fast Model-based Policy Search for Universal Policy Networks [45.44896435487879]
  エージェントの振る舞いを新しい環境に適応させることは、物理学に基づく強化学習の主要な焦点の1つとなっている。 本稿では,以前に見つからなかった環境に移行した場合のポリシーの性能を推定する,ガウス過程に基づく事前学習手法を提案する。 本研究は,ベイズ最適化に基づく政策探索プロセスと先行して統合し,普遍的な政策ネットワークから最も適切な政策を識別する効率を向上させる。
  論文  参考訳（メタデータ） (2022-02-11T18:08:02Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Policy Optimization as Online Learning with Mediator Feedback [46.845765216238135]
  ポリシー最適化(PO)は、継続的制御タスクに対処するための広く使われているアプローチである。 本稿では、政策分野におけるオンライン学習問題としてpoを枠組みとする仲介者フィードバックの概念を紹介する。 本稿では,再帰的最小化のために,RIST (Multiple Importance Smpling with Truncation) を用いたアルゴリズム RANDomized-Exploration Policy Optimization を提案する。
  論文  参考訳（メタデータ） (2020-12-15T11:34:29Z)
• Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
  本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。 共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。 我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
  論文  参考訳（メタデータ） (2020-04-19T15:42:55Z)
• Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic [11.601356612579641]
  本稿では,RLアルゴリズムの一般化能力を向上させるために,ミニマックスの定式化と分散フレームワークを提案する。 我々は交差点における自動運転車の意思決定タスクに本手法を実装し,異なる環境下で訓練された政策を検証した。
  論文  参考訳（メタデータ） (2020-02-13T14:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。