論文の概要: Probabilistic Perspectives on Error Minimization in Adversarial Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2406.04724v2
- Date: Sun, 06 Oct 2024 14:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:41:57.780060
- Title: Probabilistic Perspectives on Error Minimization in Adversarial Reinforcement Learning
- Title(参考訳): 対向強化学習における誤り最小化の確率論的視点
- Authors: Roman Belaire, Arunesh Sinha, Pradeep Varakantham,
- Abstract要約: 自動運転車は、交通標識に関する感覚入力が敵によって操作される場合、破滅的な結果をもたらす可能性がある。
このような状況における中核的な課題は、環境の真の状態は、このような敵の操作によって部分的にしか観察できないことである。
本稿では,その根底にある真の状態についての信念に基づいて定義された,ACoE(Adversarial Counterfactual Error)という新たな目標を提案する。
- 参考スコア(独自算出の注目度): 18.044879441434432
- License:
- Abstract: Deep Reinforcement Learning (DRL) policies are highly susceptible to adversarial noise in observations, which poses significant risks in safety-critical scenarios. For instance, a self-driving car could experience catastrophic consequences if its sensory inputs about traffic signs are manipulated by an adversary. The core challenge in such situations is that the true state of the environment becomes only partially observable due to these adversarial manipulations. Two key strategies have so far been employed in the literature; the first set of methods focuses on increasing the likelihood that nearby states--those close to the true state--share the same robust actions. The second set of approaches maximize the value for the worst possible true state within the range of adversarially perturbed observations. Although these approaches provide strong robustness against attacks, they tend to be either overly conservative or not generalizable. We hypothesize that the shortcomings of these approaches stem from their failure to explicitly account for partial observability. By making decisions that directly consider this partial knowledge of the true state, we believe it is possible to achieve a better balance between robustness and performance, particularly in adversarial settings. To achieve this, we introduce a novel objective called Adversarial Counterfactual Error (ACoE), which is defined on the beliefs about the underlying true state and naturally balances value optimization with robustness against adversarial attacks, and a theoretically-grounded, scalable surrogate objective Cumulative-ACoE (C-ACoE). Our empirical evaluations demonstrate that our method significantly outperforms current state-of-the-art approaches for addressing adversarial RL challenges, offering a promising direction for better DRL under adversarial conditions.
- Abstract(参考訳): 深層強化学習(Dep Reinforcement Learning, DRL)政策は、観測における敵のノイズに非常に敏感であり、安全クリティカルなシナリオに重大なリスクをもたらす。
例えば、自動運転車は、交通標識に関する感覚入力が敵によって操作される場合、破滅的な結果をもたらす可能性がある。
このような状況における中核的な課題は、環境の真の状態は、このような敵の操作によって部分的にしか観察できないことである。
文献にはこれまで2つの重要な戦略が採用されてきたが、最初の一連の手法は、近隣の州 ― 真の状態に近い ― が、同じ堅牢な行動を共有する可能性を高めることに焦点を当てている。
第2のアプローチの集合は、逆摂動観測範囲内の最悪の真状態の値を最大化する。
これらのアプローチは攻撃に対して強い堅牢性を提供するが、過度に保守的であるか、一般化できない傾向にある。
これらのアプローチの欠点は、部分的な可観測性を明示的に説明できないことに起因すると仮定する。
真の状態のこの部分的な知識を直接的に考慮する決定を行うことで、特に敵の設定において、堅牢性とパフォーマンスのバランスを良くすることが可能になると信じています。
これを実現するために,本論文では,根底にある真の状態に対する信念に基づいて定義され,対人攻撃に対するロバスト性と値最適化の自然なバランスをとる,Adversarial Counterfactual Error (ACoE) という新たな目標と,理論的に座屈した拡張可能なCumulative-ACoE (C-ACoE) を提案する。
実験により,本手法は対向RL課題に対処するための最先端手法よりも優れており,対向条件下でのDRL向上に向けた有望な方向性を提供する。
関連論文リスト
- Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳(メタデータ) (2024-05-24T14:20:09Z) - The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。
敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。
本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
論文 参考訳(メタデータ) (2024-05-14T18:05:19Z) - Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。
我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
論文 参考訳(メタデータ) (2023-12-20T05:06:01Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - Revisiting DeepFool: generalization and improvement [17.714671419826715]
我々は,有効性と計算効率のバランスを崩す新たな敵攻撃群を導入する。
提案手法は,大規模モデルのロバスト性の評価にも適している。
論文 参考訳(メタデータ) (2023-03-22T11:49:35Z) - Regret-Based Defense in Adversarial Reinforcement Learning [14.671837627588294]
敵の騒音は、安全クリティカルな環境において悲惨な結果をもたらす可能性がある。
既存のRLアルゴリズムを観測摂動敵に堅牢にするためのアプローチは、リアクティブアプローチに重点を置いている。
我々は、受信した「観測」に対する観察の「隣人」に対する最大の後悔を最小限に抑える、原則化されたアプローチを提供する。
論文 参考訳(メタデータ) (2023-02-14T08:56:50Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-10-13T13:54:24Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳(メタデータ) (2021-06-21T21:42:08Z) - Adversary Agnostic Robust Deep Reinforcement Learning [23.9114110755044]
深層強化学習政策は、訓練中の摂動によって着想される。
以前のアプローチでは、訓練プロセスに敵の知識を追加することができると仮定していた。
本稿では,敵からの学習を必要としない頑健なDRLパラダイムを提案する。
論文 参考訳(メタデータ) (2020-08-14T06:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。