論文の概要: FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2412.08880v1
• Date: Thu, 12 Dec 2024 02:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:48.919203
• Title: FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
• Title（参考訳）: FAWAC:オフライン強化学習における持続的安全のための可能性インフォームドアドバンテージ重み付き回帰
• Authors: Prajwal Koirala, Zhanhong Jiang, Soumik Sarkar, Cody Fleming,
• Abstract要約: 安全なオフライン強化学習は、安全性の制約を守りながら累積報酬を最大化するポリシーを学ぶことを目的としている。 主な課題は安全性とパフォーマンスのバランスであり、特に政策がアウト・オブ・ディストリビューション状態や行動に直面する場合である。 本稿では,マルコフ決定過程における持続的安全性を優先するFAWAC(Feasibility Informed Advantage Weighted Actor-Critic)を提案する。
• 参考スコア（独自算出の注目度）: 7.888219789657414
• License:
• Abstract: Safe offline reinforcement learning aims to learn policies that maximize cumulative rewards while adhering to safety constraints, using only offline data for training. A key challenge is balancing safety and performance, particularly when the policy encounters out-of-distribution (OOD) states and actions, which can lead to safety violations or overly conservative behavior during deployment. To address these challenges, we introduce Feasibility Informed Advantage Weighted Actor-Critic (FAWAC), a method that prioritizes persistent safety in constrained Markov decision processes (CMDPs). FAWAC formulates policy optimization with feasibility conditions derived specifically for offline datasets, enabling safe policy updates in non-parametric policy space, followed by projection into parametric space for constrained actor training. By incorporating a cost-advantage term into Advantage Weighted Regression (AWR), FAWAC ensures that the safety constraints are respected while maximizing performance. Additionally, we propose a strategy to address a more challenging class of problems that involves tempting datasets where trajectories are predominantly high-rewarded but unsafe. Empirical evaluations on standard benchmarks demonstrate that FAWAC achieves strong results, effectively balancing safety and performance in learning policies from the static datasets.
• Abstract（参考訳）: 安全なオフライン強化学習は、トレーニングのためにオフラインデータのみを使用して、安全性の制約を守りながら累積報酬を最大化するポリシーを学ぶことを目的としている。 重要な課題は安全性とパフォーマンスのバランスであり、特にポリシーがアウト・オブ・ディストリビューション(OOD)状態や行動に遭遇した場合は、安全違反や配置中の過度に保守的な行動につながる可能性がある。 これらの課題に対処するために、制約付きマルコフ決定プロセス(CMDP)における永続的安全性を優先するFAWAC(Feasibility Informed Advantage Weighted Actor-Critic)を導入する。 FAWACは、オフラインデータセットに特化して導出された実行可能性条件でポリシー最適化を定式化し、非パラメトリックポリシー空間における安全なポリシー更新を可能にし、続いて制約されたアクタートレーニングのためにパラメトリックスペースに投射する。 コストアドバンテージ項をアドバンテージ重み付き回帰(Advantage Weighted Regression, AWR)に組み込むことで、FAWACはパフォーマンスを最大化しながら安全性の制約を尊重することを保証する。 さらに,トラジェクトリが主に高解像度だが安全でないデータセットを誘惑する,より困難な問題に対処する戦略を提案する。 標準ベンチマークの実証評価では、FAWACは、静的データセットから学習ポリシーの安全性と性能を効果的にバランスして、強力な結果が得られることが示されている。

関連論文リスト

• Reward-Safety Balance in Offline Safe RL via Diffusion Regularization [16.5825143820431]
  制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。 拡散規則化制約付きオフライン強化学習(DRCORL)を提案する。 DRCORLは、まず拡散モデルを使用して、オフラインデータから行動ポリシーをキャプチャし、その後、効率的な推論を可能にするために単純化されたポリシーを抽出する。
  論文  参考訳（メタデータ） (2025-02-18T00:00:03Z)
• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints [15.904640266226023]
  我々は、安全に関する部分的状態行動軌跡の貢献を評価するために、信用割当を行う安全モデルの設計を行う。 学習された安全モデルを用いて安全なポリシーを最適化する有効なアルゴリズムを導出する。 安全報酬と安全コンプライアンスのトレードオフ係数を動的に適用する手法を考案する。
  論文  参考訳（メタデータ） (2024-05-05T17:27:22Z)
• Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning [4.14360329494344]
  強化学習(Reinforcement Learning, RL)は、過去数十年にわたって、幅広い領域で意思決定に革命をもたらした。 しかし、現実のシナリオにRLポリシーをデプロイすることは、安全性を確保する上で重要な課題である。 従来の安全RLアプローチは、事前に定義された安全制約を政策学習プロセスに組み込むことに重点を置いてきた。 本稿では,安全なRL制御ポリシを同時に学習し,その環境の未知の安全制約パラメータを同定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T20:01:15Z)
• Safe Offline Reinforcement Learning with Feasibility-Guided Diffusion Model [23.93820548551533]
  FISOR(FeasIbility-guided Safe Offline RL)を提案する。 FISORでは、変換された最適化問題に対する最適ポリシーは、重み付けされた行動クローニングの特別な形態で導出することができる。 FISORは、ほとんどのタスクにおいて最上位のリターンを達成しつつ、すべてのタスクにおいて安全満足を保証できる唯一の方法であることを示す。
  論文  参考訳（メタデータ） (2024-01-19T14:05:09Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• SaFormer: A Conditional Sequence Modeling Approach to Offline Safe Reinforcement Learning [64.33956692265419]
  オフラインセーフなRLは、現実世界のアプリケーションにエージェントをデプロイする上で、非常に実用的な関連性を持っています。 そこで我々は,SaFormerと呼ばれる新しいオフラインセーフなRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:57:01Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。