論文の概要: Probabilistic Perspectives on Error Minimization in Adversarial Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2406.04724v1
- Date: Fri, 7 Jun 2024 08:14:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 14:59:58.605761
- Title: Probabilistic Perspectives on Error Minimization in Adversarial Reinforcement Learning
- Title（参考訳）: 対向強化学習における誤り最小化の確率論的視点
- Authors: Roman Belaire, Arunesh Sinha, Pradeep Varakantham,
- Abstract要約: 深層強化学習(Dep Reinforcement Learning, DRL)政策は、観測における敵の騒音に対して極めて脆弱であり、安全クリティカルなシナリオにおいて重大なリスクを生じさせる。
既存のRLアルゴリズムを敵の摂動に対して強化する戦略は、一般的に2つのカテゴリに分類される。
本稿では,ACoE(Adrial Counterfactual Error)と呼ばれる新たな目標を提案する。
- 参考スコア（独自算出の注目度）: 18.044879441434432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Reinforcement Learning (DRL) policies are critically vulnerable to adversarial noise in observations, posing severe risks in safety-critical scenarios. For example, a self-driving car receiving manipulated sensory inputs about traffic signs could lead to catastrophic outcomes. Existing strategies to fortify RL algorithms against such adversarial perturbations generally fall into two categories: (a) using regularization methods that enhance robustness by incorporating adversarial loss terms into the value objectives, and (b) adopting "maximin" principles, which focus on maximizing the minimum value to ensure robustness. While regularization methods reduce the likelihood of successful attacks, their effectiveness drops significantly if an attack does succeed. On the other hand, maximin objectives, although robust, tend to be overly conservative. To address this challenge, we introduce a novel objective called Adversarial Counterfactual Error (ACoE), which naturally balances optimizing value and robustness against adversarial attacks. To optimize ACoE in a scalable manner in model-free settings, we propose a theoretically justified surrogate objective known as Cumulative-ACoE (C-ACoE). The core idea of optimizing C-ACoE is utilizing the belief about the underlying true state given the adversarially perturbed observation. Our empirical evaluations demonstrate that our method outperforms current state-of-the-art approaches for addressing adversarial RL problems across all established benchmarks (MuJoCo, Atari, and Highway) used in the literature.
- Abstract（参考訳）: 深層強化学習(Dep Reinforcement Learning, DRL)政策は、観測における敵の騒音に対して極めて脆弱であり、安全クリティカルなシナリオにおいて重大なリスクを生じさせる。
例えば、交通標識に関する操作された感覚入力を受けた自動運転車は、破滅的な結果をもたらす可能性がある。
このような敵対的摂動に対してRLアルゴリズムを強化するための既存の戦略は、一般的に2つのカテゴリに分類される。
(a) 対向損失項を価値目標に組み込むことで堅牢性を高める正則化法を用いて、
(b)ロバスト性を確保するために最小値の最大化に焦点を当てた「最大」原則を採用する。
正規化手法は攻撃が成功する可能性を減らすが、攻撃が成功した場合、その効果は著しく低下する。
一方、最大目標は頑丈ではあるが、過度に保守的である傾向にある。
この課題に対処するために,敵攻撃に対する価値とロバスト性の最適化とを自然にバランスさせる,Adversarial Counterfactal Error (ACoE) という新たな目標を導入する。
モデルフリー環境でACoEをスケーラブルに最適化するために,Cumulative-ACoE (C-ACoE) として知られる理論的に正当化された代理目的を提案する。
C-ACoEを最適化する中核的な考え方は、逆向きに摂動された観測から、根底にある真の状態についての信念を活用することである。
実験により,本手法は,本文献で使用したすべてのベンチマーク(MuJoCo,Atari,Highway)において,対向RL問題に対処するための最先端手法よりも優れていることを示す。
関連論文リスト
- Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - FREA: Feasibility-Guided Generation of Safety-Critical Scenarios with Reasonable Adversariality [13.240598841087841]
本稿では,AVのLF(Largest Feasible Region)をガイダンスとして組み込んだ新しい安全クリティカルシナリオ生成手法FREAを紹介する。
実験では、FREAが安全クリティカルなシナリオを効果的に生成し、ほぼミスに近い事象を引き起こすことが示されている。
論文 参考訳（メタデータ） (2024-06-05T06:26:15Z) - Belief-Enriched Pessimistic Q-Learning against Adversarial State
Perturbations [5.076419064097735]
近年の研究では、十分に訓練されたRL剤は、試験段階における状態観察を戦略的に摂動させることで容易に操作できることが示されている。
既存のソリューションは、摂動に対する訓練されたポリシーの滑らかさを改善するために正規化用語を導入するか、代わりにエージェントのポリシーと攻撃者のポリシーを訓練する。
本稿では,エージェントの真の状態に対する不確実性を保護するための悲観的ポリシーを導出する,新しいロバストなRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-06T20:52:49Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z) - Regret-Based Defense in Adversarial Reinforcement Learning [14.671837627588294]
敵の騒音は、安全クリティカルな環境において悲惨な結果をもたらす可能性がある。
既存のRLアルゴリズムを観測摂動敵に堅牢にするためのアプローチは、リアクティブアプローチに重点を置いている。
我々は、受信した「観測」に対する観察の「隣人」に対する最大の後悔を最小限に抑える、原則化されたアプローチを提供する。
論文 参考訳（メタデータ） (2023-02-14T08:56:50Z) - Towards Safe Reinforcement Learning via Constraining Conditional
Value-at-Risk [30.229387511344456]
本稿では,CVaR を所定の閾値以下に保ち,リスクに敏感な制約付き最適化問題を定式化する CVaR-Proximal-Policy-Optimization (CPPO) の新たな強化学習アルゴリズムを提案する。
実験の結果,CPPOは高い累積報酬を達成し,観察および遷移障害に対してより堅牢であることがわかった。
論文 参考訳（メタデータ） (2022-06-09T11:57:54Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z) - Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
敵の訓練は、敵の例に対する事実上最も有望な防御である。
しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。
我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
論文 参考訳（メタデータ） (2021-06-17T14:23:54Z) - Robust Reinforcement Learning on State Observations with Learned Optimal
Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。
固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。
DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文 参考訳（メタデータ） (2021-01-21T05:38:52Z) - Adversary Agnostic Robust Deep Reinforcement Learning [23.9114110755044]
深層強化学習政策は、訓練中の摂動によって着想される。
以前のアプローチでは、訓練プロセスに敵の知識を追加することができると仮定していた。
本稿では,敵からの学習を必要としない頑健なDRLパラダイムを提案する。
論文 参考訳（メタデータ） (2020-08-14T06:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。