論文の概要: Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk

• arxiv url: http://arxiv.org/abs/2206.04436v1
• Date: Thu, 9 Jun 2022 11:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 13:33:47.527618
• Title: Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk
• Title（参考訳）: 条件付き価値制約による安全強化学習に向けて
• Authors: Chengyang Ying, Xinning Zhou, Hang Su, Dong Yan, Ning Chen, Jun Zhu
• Abstract要約: 本稿では,CVaR を所定の閾値以下に保ち,リスクに敏感な制約付き最適化問題を定式化する CVaR-Proximal-Policy-Optimization (CPPO) の新たな強化学習アルゴリズムを提案する。 実験の結果,CPPOは高い累積報酬を達成し,観察および遷移障害に対してより堅牢であることがわかった。
• 参考スコア（独自算出の注目度）: 30.229387511344456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though deep reinforcement learning (DRL) has obtained substantial success, it may encounter catastrophic failures due to the intrinsic uncertainty of both transition and observation. Most of the existing methods for safe reinforcement learning can only handle transition disturbance or observation disturbance since these two kinds of disturbance affect different parts of the agent; besides, the popular worst-case return may lead to overly pessimistic policies. To address these issues, we first theoretically prove that the performance degradation under transition disturbance and observation disturbance depends on a novel metric of Value Function Range (VFR), which corresponds to the gap in the value function between the best state and the worst state. Based on the analysis, we adopt conditional value-at-risk (CVaR) as an assessment of risk and propose a novel reinforcement learning algorithm of CVaR-Proximal-Policy-Optimization (CPPO) which formalizes the risk-sensitive constrained optimization problem by keeping its CVaR under a given threshold. Experimental results show that CPPO achieves a higher cumulative reward and is more robust against both observation and transition disturbances on a series of continuous control tasks in MuJoCo.
• Abstract（参考訳）: 深層強化学習(DRL)は大きな成功を収めているが、遷移と観測の両方の本質的な不確実性のために破滅的な失敗を経験する可能性がある。 安全強化学習のための既存の方法のほとんどは、これらの2種類の障害がエージェントの異なる部分に影響するため、遷移障害や観察障害のみを扱うことができる。 これらの問題に対処するために、まず、遷移障害と観測障害による性能劣化は、最良状態と最悪の状態の間の値関数のギャップに対応する新しい値関数範囲(VFR)の計量に依存することを理論的に証明する。 本分析では,リスク評価として条件付き値付きリスク(CVaR)を採用し,CVaRを所定の閾値に保ち,リスクに敏感な制約付き最適化問題を定式化するCVaR- Proximal-Policy-Optimization(CPPO)の強化学習アルゴリズムを提案する。 実験の結果, CPPOは累積報酬が高く, MuJoCo の連続制御タスクにおける観測および遷移障害に対してより堅牢であることがわかった。

関連論文リスト

• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning [11.084321518414226]
  我々は,既存の重要度・重要度比推定手法をオフ政治評価に適用し,いわゆる後見政策手法の安定性と効率を大幅に向上させる。 我々の後視分布補正は、信用代入がベースライン手法を悩ませている広範囲の環境において、安定的で効率的な学習を容易にする。
  論文  参考訳（メタデータ） (2023-07-21T20:54:52Z)
• Hallucinated Adversarial Control for Conservative Offline Policy Evaluation [64.94009515033984]
  本研究では,環境相互作用のオフラインデータセットが与えられた場合,政策のパフォーマンスを低く抑えることを目的とした,保守的非政治評価(COPE)の課題について検討する。 本稿では,遷移力学の不確実性を考慮した学習モデルに基づくHAMBOを紹介する。 結果のCOPE推定値が妥当な下界であることを証明し、正則性条件下では、真に期待された戻り値への収束を示す。
  論文  参考訳（メタデータ） (2023-03-02T08:57:35Z)
• Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks [23.907977144668838]
  本稿では,PMDPの真の状態が学習時にわかっているという仮定を付加する,部分教師付き強化学習(PSRL)フレームワークを提案する。 逆入力摂動下でのPSRLポリシーの安全性を検証するための最初のアプローチと、PSRLを直接利用する2つの逆トレーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-28T22:33:38Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Learning Robust Feedback Policies from Demonstrations [9.34612743192798]
  閉ループ性能と境界(逆)摂動に対する堅牢性に関する実証可能な保証を示すフィードバック制御ポリシーを学ぶための新しいフレームワークを提案し、分析する。 これらのポリシーは、タスクやコスト関数、システムダイナミクスに関する事前知識のない専門家によるデモンストレーションから学習される。
  論文  参考訳（メタデータ） (2021-03-30T19:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。