論文の概要: Constraints Penalized Q-Learning for Safe Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2107.09003v1
• Date: Mon, 19 Jul 2021 16:30:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:14:21.314579
• Title: Constraints Penalized Q-Learning for Safe Offline Reinforcement Learning
• Title（参考訳）: 安全オフライン強化学習のための制約強化q-learning
• Authors: Haoran Xu, Xianyuan Zhan, Xiangyu Zhu
• Abstract要約: 安全オフライン強化学習(RL)の問題点について検討する。 目標は、オフラインデータのみに与えられる安全制約を満たしつつ、環境とのさらなる相互作用を伴わずに、長期的な報酬を最大化する政策を学習することである。 安全なRLとオフラインのRLの手法を組み合わせれば、準最適解しか学習できないことを示す。
• 参考スコア（独自算出の注目度）: 15.841609263723575
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the problem of safe offline reinforcement learning (RL), the goal is to learn a policy that maximizes long-term reward while satisfying safety constraints given only offline data, without further interaction with the environment. This problem is more appealing for real world RL applications, in which data collection is costly or dangerous. Enforcing constraint satisfaction is non-trivial, especially in offline settings, as there is a potential large discrepancy between the policy distribution and the data distribution, causing errors in estimating the value of safety constraints. We show that na\"ive approaches that combine techniques from safe RL and offline RL can only learn sub-optimal solutions. We thus develop a simple yet effective algorithm, Constraints Penalized Q-Learning (CPQ), to solve the problem. Our method admits the use of data generated by mixed behavior policies. We present a theoretical analysis and demonstrate empirically that our approach can learn robustly across a variety of benchmark control tasks, outperforming several baselines.
• Abstract（参考訳）: 安全オフライン強化学習(RL)の課題を考察し、オフラインデータのみに与えられる安全制約を満たしつつ長期報酬を最大化する政策を環境とのさらなる相互作用なく学習することを目的とする。 この問題は、データ収集が高価か危険である現実世界のRLアプリケーションにとってより魅力的である。 制約満足度を強制することは、特にオフライン環境では、ポリシー分布とデータ分布の間に大きな相違があり、安全制約の価値を見積もる誤りを引き起こすため、簡単ではない。 安全な RL とオフライン RL の手法を組み合わせれば,準最適解のみを学習できることを示す。 そこで我々は,この問題を解決するために,単純で効果的なアルゴリズム Constraints Penalized Q-Learning (CPQ) を開発した。 本手法は,混合行動ポリシーによって生成されたデータの利用を認める。 我々は理論解析を行い,本手法が様々なベンチマーク制御タスクにおいてロバストに学習できることを実証的に示す。

関連論文リスト

• Reward-Safety Balance in Offline Safe RL via Diffusion Regularization [16.5825143820431]
  制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。 拡散規則化制約付きオフライン強化学習(DRCORL)を提案する。 DRCORLは、まず拡散モデルを使用して、オフラインデータから行動ポリシーをキャプチャし、その後、効率的な推論を可能にするために単純化されたポリシーを抽出する。
  論文  参考訳（メタデータ） (2025-02-18T00:00:03Z)
• Active Advantage-Aligned Online Reinforcement Learning with Offline Data [56.98480620108727]
  A3 RLは、ポリシー改善を最適化するために、オンラインとオフラインの組み合わせからデータを積極的に選択する新しい方法である。 アクティブサンプリング戦略の有効性を検証する理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-02-11T20:31:59Z)
• Sparsity-based Safety Conservatism for Constrained Offline Reinforcement Learning [4.0847743592744905]
  強化学習(Reinforcement Learning, RL)は、自律運転やロボット操作といった意思決定分野で大きな成功を収めている。 RLのトレーニングアプローチは、"オン・ポリティクス(on-policy)"サンプリングを中心にしているが、データを完全には活用していない。 オフラインRLは魅力的な代替手段として現れており、特に追加実験を行うことは実用的ではない。
  論文  参考訳（メタデータ） (2024-07-17T20:57:05Z)
• Offline Goal-Conditioned Reinforcement Learning for Safety-Critical Tasks with Recovery Policy [4.854443247023496]
  オフライン目標条件強化学習(GCRL)は、オフラインデータセットから少ない報酬で目標達成タスクを解決することを目的としている。 本稿では,RbSL(Recovery-based Supervised Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T05:20:57Z)
• Constrained Decision Transformer for Offline Safe Reinforcement Learning [16.485325576173427]
  我々は、新しい多目的最適化の観点から、オフラインセーフなRL問題を考察する。 本稿では,デプロイメント中のトレードオフを動的に調整可能な制約付き決定変換器(CDT)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-14T21:27:10Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation [38.95482624075353]
  爆発するQ-関数に対処するために,学習値関数に対する勾配ペナルティを導入する。 次に、批判重み付き制約緩和による非最適行動に対する近接性制約を緩和する。 実験結果から,提案手法は方針制約付きオフラインRL法において,最適でない軌道を効果的に制御できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-19T11:22:36Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• Continuous Doubly Constrained Batch Reinforcement Learning [93.23842221189658]
  環境とのオンラインインタラクションではなく、固定されたオフラインデータセットのみを使用して効果的なポリシーを学ぶバッチRLのアルゴリズムを提案する。 バッチRLにおける制限されたデータは、トレーニングデータに不十分に表現された状態/動作の値推定に固有の不確実性をもたらす。 この分散を減らすための政策制約と、過度に楽観的な見積もりを妨げる価値制約という2つの簡単な罰則によってこの問題を軽減することを提案する。
  論文  参考訳（メタデータ） (2021-02-18T08:54:14Z)
• Critic Regularized Regression [70.8487887738354]
  批判正規化回帰(CRR)形式を用いてデータからポリシーを学習するための新しいオフラインRLアルゴリズムを提案する。 CRRは驚くほどよく動作し、高次元の状態と行動空間を持つタスクにスケールする。
  論文  参考訳（メタデータ） (2020-06-26T17:50:26Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。