論文の概要: Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model

• arxiv url: http://arxiv.org/abs/2203.06587v2
• Date: Tue, 15 Mar 2022 03:32:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 10:41:40.048467
• Title: Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model
• Title（参考訳）: ミスマッチ生成モデルを用いたロバストマルコフ決定過程の政策学習
• Authors: Jialian Li, Tongzheng Ren, Dong Yan, Hang Su, Jun Zhu
• Abstract要約: 医療や自動操縦といった高度なシナリオでは、オンラインの実験データを収集してエージェントを訓練するのは危険か不可能です。 本稿では,ロバスト・マルコフ決定過程(RMDP)に対する政策学習について考察する。 我々のゴールは、さらなる技術的困難をもたらす、摂動テスト環境に対するほぼ最適のロバストなポリシーを特定することです。
• 参考スコア（独自算出の注目度）: 42.28001762749647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In high-stake scenarios like medical treatment and auto-piloting, it's risky or even infeasible to collect online experimental data to train the agent. Simulation-based training can alleviate this issue, but may suffer from its inherent mismatches from the simulator and real environment. It is therefore imperative to utilize the simulator to learn a robust policy for the real-world deployment. In this work, we consider policy learning for Robust Markov Decision Processes (RMDP), where the agent tries to seek a robust policy with respect to unexpected perturbations on the environments. Specifically, we focus on the setting where the training environment can be characterized as a generative model and a constrained perturbation can be added to the model during testing. Our goal is to identify a near-optimal robust policy for the perturbed testing environment, which introduces additional technical difficulties as we need to simultaneously estimate the training environment uncertainty from samples and find the worst-case perturbation for testing. To solve this issue, we propose a generic method which formalizes the perturbation as an opponent to obtain a two-player zero-sum game, and further show that the Nash Equilibrium corresponds to the robust policy. We prove that, with a polynomial number of samples from the generative model, our algorithm can find a near-optimal robust policy with a high probability. Our method is able to deal with general perturbations under some mild assumptions and can also be extended to more complex problems like robust partial observable Markov decision process, thanks to the game-theoretical formulation.
• Abstract（参考訳）: 医療や自動操縦といった高度なシナリオでは、オンラインの実験データを収集してエージェントを訓練するのは危険か不可能です。 シミュレーションベースのトレーニングはこの問題を軽減することができるが、シミュレータと実際の環境から固有のミスマッチに悩まされる可能性がある。 したがって,シミュレータを用いて実世界展開のための堅牢なポリシーを学ぶことが不可欠である。 本研究では,ロバスト・マルコフ決定過程(RMDP)に対する政策学習について考察する。 具体的には、学習環境を生成モデルとして特徴付けることができ、テスト中に制約のある摂動をモデルに追加できるような設定に焦点を当てる。 これは,サンプルからトレーニング環境の不確実性を同時に推定し,テストの最悪の摂動を見出す必要があるため,さらなる技術的困難をもたらすものだ。 そこで本研究では,対戦相手としての摂動を形式化し,二人プレイのゼロサムゲームを得る汎用的な手法を提案し,さらにnash均衡がロバストな方針に対応することを示す。 生成モデルからのサンプルの多項式数を用いて,本アルゴリズムは高い確率で最適に近いロバストポリシを求めることができることを示す。 本手法は穏やかな仮定の下で一般的な摂動に対処でき,ゲーム理論的な定式化によりロバスト部分可観測マルコフ決定プロセスのようなより複雑な問題にも拡張することができる。

関連論文リスト

• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Robust Deep Reinforcement Learning with Adaptive Adversarial Perturbations in Action Space [3.639580365066386]
  本稿では,トレーニング中の対向摂動の影響を調整するための適応的対向係数フレームワークを提案する。 提案手法の特長は,実世界のアプリケーションに簡単にデプロイでき,シミュレータに事前にアクセスする必要がなくなることである。 MuJoCoの実験から,本手法はトレーニングの安定性を向上し,異なるテスト環境に移行する際の堅牢なポリシを学習できることが示された。
  論文  参考訳（メタデータ） (2024-05-20T12:31:11Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Sample-Efficient Robust Multi-Agent Reinforcement Learning in the Face of Environmental Uncertainty [40.55653383218379]
  本研究は,ロバストなマルコフゲーム(RMG)の学習に焦点を当てる。 ゲーム理論平衡の様々な概念の頑健な変種を学習するために,有限サンプルの複雑性を保証するサンプル効率モデルベースアルゴリズム(DRNVI)を提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:51:47Z)
• Bayesian Risk-Averse Q-Learning with Streaming Observations [7.330349128557128]
  我々は,学習エージェントが模擬学習環境から学習する,堅牢な強化学習問題を考える。 エージェントの制御外にある実環境からの観測が定期的に到着する。 実環境からのストリーミング観測でBRMDPを解くための多段階ベイズリスク逆Q-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-18T20:48:50Z)
• Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification [22.241676350331968]
  本研究は,不確実性パラメータを含むシミュレーション環境とその可能な値の集合を含むシナリオに焦点を当てる。 本研究の目的は,不確実性パラメータセット上での最悪の性能を最適化し,対応する実環境における性能を保証することである。 マルチジョイント・ダイナミックスと接触(MuJoCo)環境の実験により,提案手法は複数のベースライン・アプローチに比較して最悪の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T10:18:31Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Sample Complexity of Robust Reinforcement Learning with a Generative Model [0.0]
  本稿では,モデルに基づく強化学習(RL)アルゴリズムを提案する。 我々は,全変動距離,カイ二乗発散,KL発散の3種類の不確実性集合を考察した。 この結果に加えて,ロバストポリシの利点に関する公式な分析的議論も提示する。
  論文  参考訳（メタデータ） (2021-12-02T18:55:51Z)
• Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
  政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。 提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。 また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
  論文  参考訳（メタデータ） (2020-06-18T17:34:50Z)
• Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
  従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。 強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。 本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
  論文  参考訳（メタデータ） (2020-05-21T19:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。