論文の概要: Constraint-Adaptive Policy Switching for Offline Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2412.18946v1
• Date: Wed, 25 Dec 2024 16:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:39.378105
• Title: Constraint-Adaptive Policy Switching for Offline Safe Reinforcement Learning
• Title（参考訳）: オフライン型安全強化学習のための制約適応型ポリシースイッチング
• Authors: Yassine Chemingui, Aryan Deshwal, Honghao Wei, Alan Fern, Janardhan Rao Doppa,
• Abstract要約: オフライン安全な強化学習(OSRL)は、一定のトレーニングデータから報酬を最大化するための意思決定ポリシーを学習する。 本稿では,既存のオフラインRLアルゴリズムのラッパーフレームワークである制約適応ポリシースイッチング(CAPS)を導入する。 CAPSは既存の手法を一貫して上回り、OSRLの強力なラッパーベースのベースラインを確立する。
• 参考スコア（独自算出の注目度）: 37.660801621012745
• License:
• Abstract: Offline safe reinforcement learning (OSRL) involves learning a decision-making policy to maximize rewards from a fixed batch of training data to satisfy pre-defined safety constraints. However, adapting to varying safety constraints during deployment without retraining remains an under-explored challenge. To address this challenge, we introduce constraint-adaptive policy switching (CAPS), a wrapper framework around existing offline RL algorithms. During training, CAPS uses offline data to learn multiple policies with a shared representation that optimize different reward and cost trade-offs. During testing, CAPS switches between those policies by selecting at each state the policy that maximizes future rewards among those that satisfy the current cost constraint. Our experiments on 38 tasks from the DSRL benchmark demonstrate that CAPS consistently outperforms existing methods, establishing a strong wrapper-based baseline for OSRL. The code is publicly available at https://github.com/yassineCh/CAPS.
• Abstract（参考訳）: オフライン安全強化学習(OSRL)は、所定のトレーニングデータから報酬を最大化し、事前に定義された安全制約を満たすための意思決定ポリシーを学ぶ。 しかしながら、再トレーニングなしにデプロイ中にさまざまな安全制約に適応することは、未調査の課題である。 この課題に対処するために、既存のオフラインRLアルゴリズムのラッパーフレームワークである制約適応ポリシースイッチング(CAPS)を導入する。 トレーニング中、CAPSはオフラインデータを使用して、さまざまな報酬とコストトレードオフを最適化する共有表現で複数のポリシを学習する。 テスト中、CAPSは、現在のコスト制約を満たすもののうち、将来の報酬を最大化するポリシーを各州に選択することで、これらのポリシーを切り替える。 DSRLベンチマークによる38のタスクに対する実験により、CAPSは既存の手法を一貫して上回り、OSRLの強力なラッパーベースラインを確立した。 コードはhttps://github.com/yassineCh/CAPSで公開されている。

関連論文リスト

• Offline Goal-Conditioned Reinforcement Learning for Safety-Critical Tasks with Recovery Policy [4.854443247023496]
  オフライン目標条件強化学習(GCRL)は、オフラインデータセットから少ない報酬で目標達成タスクを解決することを目的としている。 本稿では,RbSL(Recovery-based Supervised Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T05:20:57Z)
• Constrained Decision Transformer for Offline Safe Reinforcement Learning [16.485325576173427]
  我々は、新しい多目的最適化の観点から、オフラインセーフなRL問題を考察する。 本稿では,デプロイメント中のトレードオフを動的に調整可能な制約付き決定変換器(CDT)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-14T21:27:10Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• Constraints Penalized Q-Learning for Safe Offline Reinforcement Learning [15.841609263723575]
  安全オフライン強化学習(RL)の問題点について検討する。 目標は、オフラインデータのみに与えられる安全制約を満たしつつ、環境とのさらなる相互作用を伴わずに、長期的な報酬を最大化する政策を学習することである。 安全なRLとオフラインのRLの手法を組み合わせれば、準最適解しか学習できないことを示す。
  論文  参考訳（メタデータ） (2021-07-19T16:30:14Z)
• Safe Reinforcement Learning Using Advantage-Based Intervention [45.79740561754542]
  多くのシーケンシャルな決定問題は、安全性の制約に従いながら全報酬を最大化するポリシーを見つけることである。 本稿では,エージェントの安全性を確保するために,アドバンテージ関数に基づく介入機構を用いた新しいアルゴリズムであるSAILRを提案する。 私たちの方法には、トレーニングとデプロイメントの両方において、安全性が強く保証されています。
  論文  参考訳（メタデータ） (2021-06-16T20:28:56Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。