論文の概要: Distributionally Robust Constrained Reinforcement Learning under Strong Duality

• arxiv url: http://arxiv.org/abs/2406.15788v1
• Date: Sat, 22 Jun 2024 08:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:35:12.285081
• Title: Distributionally Robust Constrained Reinforcement Learning under Strong Duality
• Title（参考訳）: 強双対下におけるロバスト制約強化学習
• Authors: Zhengfei Zhang, Kishan Panaganti, Laixi Shi, Yanan Sui, Adam Wierman, Yisong Yue,
• Abstract要約: 分布ロバスト制約付きRL(DRC-RL)の問題点について検討する。 目標は、環境分布の変化や制約の対象となる報酬を最大化することである。 本稿では, 第一の効率的かつ証明可能な解を可能にする, 強双対性に基づくアルゴリズムフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 37.76993170360821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of Distributionally Robust Constrained RL (DRC-RL), where the goal is to maximize the expected reward subject to environmental distribution shifts and constraints. This setting captures situations where training and testing environments differ, and policies must satisfy constraints motivated by safety or limited budgets. Despite significant progress toward algorithm design for the separate problems of distributionally robust RL and constrained RL, there do not yet exist algorithms with end-to-end convergence guarantees for DRC-RL. We develop an algorithmic framework based on strong duality that enables the first efficient and provable solution in a class of environmental uncertainties. Further, our framework exposes an inherent structure of DRC-RL that arises from the combination of distributional robustness and constraints, which prevents a popular class of iterative methods from tractably solving DRC-RL, despite such frameworks being applicable for each of distributionally robust RL and constrained RL individually. Finally, we conduct experiments on a car racing benchmark to evaluate the effectiveness of the proposed algorithm.
• Abstract（参考訳）: 本研究では, 環境分布の変動や制約にともなう期待報酬を最大化することを目的として, 分散ロバスト制約RL (DRC-RL) の問題について検討する。 この設定は、トレーニングとテスト環境が異なる状況を捉え、安全や限られた予算によって動機付けられた制約を満たす必要がある。 分散ロバストなRLと制約付きRLの分離問題に対するアルゴリズム設計への大きな進歩にもかかわらず、DRC-RLのエンドツーエンド収束保証付きアルゴリズムは存在しない。 我々は,環境不確実性のクラスにおいて,最初の効率的かつ証明可能な解を可能にする,強い双対性に基づくアルゴリズム的枠組みを開発する。 さらに,本フレームワークは,分散ロバストなRLと制約付きRLのそれぞれに対して適用可能であるにもかかわらず,分散ロバストなRLと制約の組合せから生じるDRC-RL固有の構造を明らかにする。 最後に,提案アルゴリズムの有効性を評価するために,カーレースベンチマーク実験を行った。

関連論文リスト

• Constrained Reinforcement Learning Under Model Mismatch [18.05296241839688]
  制約強化学習(RL)に関する既存の研究は、訓練環境における優れた政策を得ることができる。 しかし、実際の環境にデプロイすると、トレーニングと実際の環境の間にモデルミスマッチがあるため、トレーニング中に当初満足していた制約に容易に違反する可能性がある。 我々は,大規模かつ連続的な状態空間に適用可能な最初のアルゴリズムであるロバスト制約付きポリシー最適化(RCPO)アルゴリズムを開発し,トレーニング中の各イテレーションにおいて最悪の報酬改善と制約違反を理論的に保証する。
  論文  参考訳（メタデータ） (2024-05-02T14:31:52Z)
• Distributionally Robust Reinforcement Learning with Interactive Data Collection: Fundamental Hardness and Near-Optimal Algorithm [14.517103323409307]
  Sim-to-realのギャップは、トレーニングとテスト環境の相違を表している。 この課題に対処するための有望なアプローチは、分布的に堅牢なRLである。 我々は対話型データ収集によるロバストなRLに取り組み、証明可能なサンプル複雑性を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-04T16:40:22Z)
• Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage [32.578787778183546]
  オフライン強化学習(RL)アルゴリズムは、過去の(オフライン)データを用いて最適な警察を学習する。 オフラインRLの主な課題の1つは、分散シフトである。 分散ロバスト学習(DRL)フレームワークを用いた2つのオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-27T19:19:30Z)
• Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
  リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。 本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。 本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2023-07-06T08:14:54Z)
• Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
  本研究では,分散ロバストRL (DRRL) を提案する。 既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。 単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-27T14:08:09Z)
• Reinforcement Learning with Stepwise Fairness Constraints [50.538878453547966]
  本稿では,段階的公正性制約を伴う強化学習について紹介する。 我々は、ポリシーの最適性と公正性違反に関して、強力な理論的保証を持つ学習アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-11-08T04:06:23Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty [9.246374019271935]
  我々は、制約マルコフ決定過程(CMDP)の理論とロバストマルコフ決定過程(RMDP)理論を融合することを提案する。 この定式化により、性能が堅牢なRLアルゴリズムを設計でき、制約満足度を保証することができる。 まず、RCMDPの概念に基づく一般問題定式化を提案し、次に最適問題のラグランジアン定式化を提案し、ロバスト制約付きポリシー勾配RLアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-10-10T01:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。