論文の概要: On Minimizing Adversarial Counterfactual Error in Adversarial RL
- arxiv url: http://arxiv.org/abs/2406.04724v3
- Date: Sat, 15 Mar 2025 05:16:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 12:34:44.453113
- Title: On Minimizing Adversarial Counterfactual Error in Adversarial RL
- Title（参考訳）: 逆数RLの逆数誤差の最小化について
- Authors: Roman Belaire, Arunesh Sinha, Pradeep Varakantham,
- Abstract要約: 敵の騒音は、安全クリティカルなシナリオにおいて重大なリスクを生じさせる。
我々は,ACoE(Adversarial Counterfactual Error)と呼ばれる新しい目標を導入する。
本手法は, 対向RL問題に対処するための最先端手法を著しく上回っている。
- 参考スコア（独自算出の注目度）: 18.044879441434432
- License:
- Abstract: Deep Reinforcement Learning (DRL) policies are highly susceptible to adversarial noise in observations, which poses significant risks in safety-critical scenarios. The challenge inherent to adversarial perturbations is that by altering the information observed by the agent, the state becomes only partially observable. Existing approaches address this by either enforcing consistent actions across nearby states or maximizing the worst-case value within adversarially perturbed observations. However, the former suffers from performance degradation when attacks succeed, while the latter tends to be overly conservative, leading to suboptimal performance in benign settings. We hypothesize that these limitations stem from their failing to account for partial observability directly. To this end, we introduce a novel objective called Adversarial Counterfactual Error (ACoE), defined on the beliefs about the true state and balancing value optimization with robustness. To make ACoE scalable in model-free settings, we propose the theoretically-grounded surrogate objective Cumulative-ACoE (C-ACoE). Our empirical evaluations on standard benchmarks (MuJoCo, Atari, and Highway) demonstrate that our method significantly outperforms current state-of-the-art approaches for addressing adversarial RL challenges, offering a promising direction for improving robustness in DRL under adversarial conditions. Our code is available at https://github.com/romanbelaire/acoe-robust-rl.
- Abstract（参考訳）: 深層強化学習(Dep Reinforcement Learning, DRL)政策は、観測における敵のノイズに非常に敏感であり、安全クリティカルなシナリオにおいて重大なリスクをもたらす。
敵の摂動に固有の課題は、エージェントによって観測された情報を変更することで、状態は部分的に観察できるだけとなることである。
既存のアプローチでは、近くの州をまたいで一貫したアクションを強制するか、逆摂動観測における最悪のケース値の最大化によってこの問題に対処している。
しかし、前者は攻撃が成功すると性能劣化に悩まされ、後者は過度に保守的である傾向にあり、良質な設定では準最適性能となる。
これらの制限は、部分的な可観測性を直接考慮できないことに起因すると仮定する。
そこで本稿では,真の状態に対する信念と,ロバストネスによる価値最適化のバランスを前提とした,Adversarial Counterfactual Error (ACoE) という新たな目標を提案する。
モデルフリー環境でACoEをスケーラブルにするために,理論的に座屈した代理対象のCumulative-ACoE(C-ACoE)を提案する。
標準ベンチマーク(MuJoCo,Atari,Highway)における実証的な評価は,我々の手法が敵のRL課題に対処するための最先端のアプローチを著しく上回り,敵の条件下でのDRLの堅牢性向上のための有望な方向性を提供することを示す。
私たちのコードはhttps://github.com/romanbelaire/acoe-robust-rl.comで公開されています。
関連論文リスト
- Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - FREA: Feasibility-Guided Generation of Safety-Critical Scenarios with Reasonable Adversariality [13.240598841087841]
本稿では,AVのLF(Largest Feasible Region)をガイダンスとして組み込んだ新しい安全クリティカルシナリオ生成手法FREAを紹介する。
実験では、FREAが安全クリティカルなシナリオを効果的に生成し、ほぼミスに近い事象を引き起こすことが示されている。
論文 参考訳（メタデータ） (2024-06-05T06:26:15Z) - Belief-Enriched Pessimistic Q-Learning against Adversarial State
Perturbations [5.076419064097735]
近年の研究では、十分に訓練されたRL剤は、試験段階における状態観察を戦略的に摂動させることで容易に操作できることが示されている。
既存のソリューションは、摂動に対する訓練されたポリシーの滑らかさを改善するために正規化用語を導入するか、代わりにエージェントのポリシーと攻撃者のポリシーを訓練する。
本稿では,エージェントの真の状態に対する不確実性を保護するための悲観的ポリシーを導出する,新しいロバストなRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-06T20:52:49Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z) - Regret-Based Defense in Adversarial Reinforcement Learning [14.671837627588294]
敵の騒音は、安全クリティカルな環境において悲惨な結果をもたらす可能性がある。
既存のRLアルゴリズムを観測摂動敵に堅牢にするためのアプローチは、リアクティブアプローチに重点を置いている。
我々は、受信した「観測」に対する観察の「隣人」に対する最大の後悔を最小限に抑える、原則化されたアプローチを提供する。
論文 参考訳（メタデータ） (2023-02-14T08:56:50Z) - Towards Safe Reinforcement Learning via Constraining Conditional
Value-at-Risk [30.229387511344456]
本稿では,CVaR を所定の閾値以下に保ち,リスクに敏感な制約付き最適化問題を定式化する CVaR-Proximal-Policy-Optimization (CPPO) の新たな強化学習アルゴリズムを提案する。
実験の結果,CPPOは高い累積報酬を達成し,観察および遷移障害に対してより堅牢であることがわかった。
論文 参考訳（メタデータ） (2022-06-09T11:57:54Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z) - Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
敵の訓練は、敵の例に対する事実上最も有望な防御である。
しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。
我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
論文 参考訳（メタデータ） (2021-06-17T14:23:54Z) - Robust Reinforcement Learning on State Observations with Learned Optimal
Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。
固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。
DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文 参考訳（メタデータ） (2021-01-21T05:38:52Z) - Adversary Agnostic Robust Deep Reinforcement Learning [23.9114110755044]
深層強化学習政策は、訓練中の摂動によって着想される。
以前のアプローチでは、訓練プロセスに敵の知識を追加することができると仮定していた。
本稿では,敵からの学習を必要としない頑健なDRLパラダイムを提案する。
論文 参考訳（メタデータ） (2020-08-14T06:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。