論文の概要: Enhancing Efficiency of Safe Reinforcement Learning via Sample Manipulation

• arxiv url: http://arxiv.org/abs/2405.20860v1
• Date: Fri, 31 May 2024 14:44:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 14:08:24.893331
• Title: Enhancing Efficiency of Safe Reinforcement Learning via Sample Manipulation
• Title（参考訳）: サンプル操作による安全強化学習の効率化
• Authors: Shangding Gu, Laixi Shi, Yuhao Ding, Alois Knoll, Costas Spanos, Adam Wierman, Ming Jin,
• Abstract要約: サンプル操作による安全なRLの効率を向上させる新しいアプローチとして,効率的なポリシー最適化(ESPO)を提案する。 ESPOでは,報酬の最大化,コストの最小化,両者間のトレードオフのバランスという,3つのモードの最適化フレームワークを採用している。 ESPOは、報酬複雑性と制約満足度の観点から、既存の原始的ベースと原始的ベースラインを著しく上回る。
• 参考スコア（独自算出の注目度）: 21.802347189192076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe reinforcement learning (RL) is crucial for deploying RL agents in real-world applications, as it aims to maximize long-term rewards while satisfying safety constraints. However, safe RL often suffers from sample inefficiency, requiring extensive interactions with the environment to learn a safe policy. We propose Efficient Safe Policy Optimization (ESPO), a novel approach that enhances the efficiency of safe RL through sample manipulation. ESPO employs an optimization framework with three modes: maximizing rewards, minimizing costs, and balancing the trade-off between the two. By dynamically adjusting the sampling process based on the observed conflict between reward and safety gradients, ESPO theoretically guarantees convergence, optimization stability, and improved sample complexity bounds. Experiments on the Safety-MuJoCo and Omnisafe benchmarks demonstrate that ESPO significantly outperforms existing primal-based and primal-dual-based baselines in terms of reward maximization and constraint satisfaction. Moreover, ESPO achieves substantial gains in sample efficiency, requiring 25--29% fewer samples than baselines, and reduces training time by 21--38%.
• Abstract（参考訳）: 安全強化学習(RL)は、安全性の制約を満たすとともに長期的な報酬を最大化することを目的として、現実世界のアプリケーションにRLエージェントを配置するために不可欠である。 しかし、安全なRLはしばしばサンプルの不効率に悩まされ、安全な政策を学ぶためには環境との広範囲な相互作用が必要である。 本稿では,サンプル操作による安全なRLの効率を向上させる新しいアプローチとして,ESPO(Efficient Safe Policy Optimization)を提案する。 ESPOでは,報酬の最大化,コストの最小化,両者間のトレードオフのバランスという,3つのモードの最適化フレームワークを採用している。 報酬と安全性勾配の間の観測された衝突に基づいてサンプリングプロセスを動的に調整することにより、ESPOは収束、最適化安定性、サンプル複雑性境界の改善を理論的に保証する。 Safety-MuJoCo と Omnisafe ベンチマークの実験では、ESPO は報酬の最大化と制約満足度の観点から既存の原始的ベースラインと原始的ベースラインを著しく上回っている。 さらに、ESPOはサンプル効率を大幅に向上し、ベースラインよりも25～29%少ないサンプルを必要とし、トレーニング時間を21～38%短縮する。

関連論文リスト

• Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
  人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。 しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。 本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T17:31:21Z)
• Balance Reward and Safety Optimization for Safe Reinforcement Learning: A Perspective of Gradient Manipulation [26.244121960815907]
  探索中の報酬と安全の間のトレードオフを管理することは、大きな課題である。 本研究では,勾配操作の理論を活用することによって,この矛盾する関係に対処することを目的とする。 実験の結果,提案アルゴリズムは報酬のバランスと安全性の最適化の観点から,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-02T19:07:14Z)
• Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization [3.425378723819911]
  セーフ強化学習(Safe reinforcement learning, Safe RL)とは、RLアルゴリズムが制約を犯すのを防ぐ技術である。 本稿では,多目的ポリシー最適化フレームワークに基づく新しいモデルフリーなSafe RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:58:38Z)
• Iterative Reachability Estimation for Safe Reinforcement Learning [23.942701020636882]
  安全制約付き強化学習(RL)環境のための新しいフレームワークRESPO(Reachability Estimation for Safe Policy Optimization)を提案する。 違反のないポリシーが存在する現実的な環境では、永続的な安全を維持しながら報酬を最適化します。 安全ガイム, PyBullet, および MuJoCo を用いた安全RL環境の多種多様な構成について, 提案手法の評価を行った。
  論文  参考訳（メタデータ） (2023-09-24T02:36:42Z)
• Safe and Sample-efficient Reinforcement Learning for Clustered Dynamic Environments [4.111899441919165]
  本研究は,2つの課題に対処する安全かつサンプル効率の強化学習(RL)フレームワークを提案する。 我々は、セーフセットアルゴリズム(SSA)を用いて、名目制御の監視と修正を行い、クラスタリングされた動的環境におけるSSA+RLの評価を行う。 我々のフレームワークは、トレーニング中の他の安全なRL手法と比較して安全性が向上し、エピソードが大幅に少ないタスクを解決できる。
  論文  参考訳（メタデータ） (2023-03-24T20:29:17Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Constrained Policy Optimization via Bayesian World Models [79.0077602277004]
  LAMBDAは、マルコフ決定プロセスを通じてモデル化された安全クリティカルタスクにおけるポリシー最適化のためのモデルに基づくアプローチである。 LAMBDA のSafety-Gymベンチマークスイートにおける技術性能について,サンプル効率と制約違反の観点から示す。
  論文  参考訳（メタデータ） (2022-01-24T17:02:22Z)
• Safe Reinforcement Learning in Constrained Markov Decision Processes [20.175139766171277]
  本稿では,マルコフ決定過程を未知の安全制約下で探索・最適化するアルゴリズムSNO-MDPを提案する。 我々は、安全制約の満足度と累積報酬のほぼ最適性の両方を理論的に保証する。
  論文  参考訳（メタデータ） (2020-08-15T02:20:23Z)
• Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
  適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。 理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
  論文  参考訳（メタデータ） (2020-02-26T00:01:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。