論文の概要: State-Aware Perturbation Optimization for Robust Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2503.20613v1
- Date: Wed, 26 Mar 2025 15:00:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 13:21:13.157100
- Title: State-Aware Perturbation Optimization for Robust Deep Reinforcement Learning
- Title（参考訳）: ロバスト深部強化学習のための状態認識摂動最適化
- Authors: Zongyuan Zhang, Tianyang Duan, Zheng Lin, Dong Huang, Zihan Fang, Zekai Sun, Ling Xiong, Hongbin Liang, Heming Cui, Yong Cui,
- Abstract要約: 摂動ステルスネスと状態訪問分散を最適化するために,STARと命名された選択的状態認識強化敵攻撃法を提案する。
情報理論最適化の目的を取り入れ、摂動、環境状態、被害者の行動の相互情報を最大化し、分散した状態・視線分布を確保する。
実験により、STARは最先端のベンチマークより優れていることが示された。
- 参考スコア（独自算出の注目度）: 11.807055530003899
- License:
- Abstract: Recently, deep reinforcement learning (DRL) has emerged as a promising approach for robotic control. However, the deployment of DRL in real-world robots is hindered by its sensitivity to environmental perturbations. While existing whitebox adversarial attacks rely on local gradient information and apply uniform perturbations across all states to evaluate DRL robustness, they fail to account for temporal dynamics and state-specific vulnerabilities. To combat the above challenge, we first conduct a theoretical analysis of white-box attacks in DRL by establishing the adversarial victim-dynamics Markov decision process (AVD-MDP), to derive the necessary and sufficient conditions for a successful attack. Based on this, we propose a selective state-aware reinforcement adversarial attack method, named STAR, to optimize perturbation stealthiness and state visitation dispersion. STAR first employs a soft mask-based state-targeting mechanism to minimize redundant perturbations, enhancing stealthiness and attack effectiveness. Then, it incorporates an information-theoretic optimization objective to maximize mutual information between perturbations, environmental states, and victim actions, ensuring a dispersed state-visitation distribution that steers the victim agent into vulnerable states for maximum return reduction. Extensive experiments demonstrate that STAR outperforms state-of-the-art benchmarks.
- Abstract（参考訳）: 近年,ロボット制御のための将来性のあるアプローチとして,深層強化学習(DRL)が登場している。
しかし、現実世界のロボットへのDRLの展開は、環境の摂動に対する敏感さによって妨げられている。
既存のホワイトボックス攻撃は局所的な勾配情報に依存し、DRLの堅牢性を評価するために全ての州に均一な摂動を適用しているが、時間的ダイナミクスと州固有の脆弱性を考慮できない。
この課題に対処するために、我々はまず、敵の犠牲者力学マルコフ決定過程(AVD-MDP)を確立することでDRLにおけるホワイトボックス攻撃の理論的解析を行い、攻撃を成功させるために必要かつ十分な条件を導出する。
そこで本研究では, 摂動ステルスネスと状態訪問分散を最適化するために, STAR と呼ばれる選択的状態認識強化逆攻撃法を提案する。
STARはまず、冗長な摂動を最小限に抑え、ステルス性と攻撃効果を高めるために、ソフトマスクベースの状態目標機構を使用する。
そして、情報理論最適化の目的を取り入れ、摂動、環境状態、被害者行動の相互情報を最大化し、被害者エージェントを最大限のリターン還元のために脆弱な状態に誘導する分散状態視界分布を確保する。
大規模な実験により、STARは最先端のベンチマークより優れていることが示された。
関連論文リスト
- Evaluating the Robustness of LiDAR Point Cloud Tracking Against Adversarial Attack [6.101494710781259]
本稿では,3次元物体追跡の文脈において,敵攻撃を行うための統一的なフレームワークを提案する。
ブラックボックス攻撃のシナリオに対処するために,新たなトランスファーベースアプローチであるTarget-aware Perturbation Generation (TAPG)アルゴリズムを導入する。
実験の結果,ブラックボックスとホワイトボックスの両方の攻撃を受けた場合,高度な追跡手法に重大な脆弱性があることが判明した。
論文 参考訳（メタデータ） (2024-10-28T10:20:38Z) - Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。
未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-26T15:04:04Z) - HUWSOD: Holistic Self-training for Unified Weakly Supervised Object Detection [66.42229859018775]
我々は,HUWSOD(HuWSOD)と呼ばれる,統一・高容量弱教師付きオブジェクト検出(WSOD)ネットワークを導入する。
HUWSODには、自己管理された提案生成器と、従来のオブジェクト提案を置き換えるために、マルチレートで再構成されたピラミッドを備えたオートエンコーダ提案生成器が組み込まれている。
提案手法は,よく設計されたオフラインオブジェクト提案と大きく異なるが,WSOD訓練には有効であることを示す。
論文 参考訳（メタデータ） (2024-06-27T17:59:49Z) - On Minimizing Adversarial Counterfactual Error in Adversarial RL [18.044879441434432]
敵の騒音は、安全クリティカルなシナリオにおいて重大なリスクを生じさせる。
我々は,ACoE(Adversarial Counterfactual Error)と呼ばれる新しい目標を導入する。
本手法は, 対向RL問題に対処するための最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-06-07T08:14:24Z) - Embodied Laser Attack:Leveraging Scene Priors to Achieve Agent-based Robust Non-contact Attacks [13.726534285661717]
本稿では,非接触レーザー攻撃を動的に調整する新しい枠組みであるEmbodied Laser Attack (ELA)を紹介する。
認識モジュールのために,ERAは交通シーンの本質的な事前知識に基づいて,局所的な視点変換ネットワークを革新的に開発してきた。
決定と制御モジュールのために、ERAは時間を要するアルゴリズムを採用する代わりに、データ駆動の強化学習で攻撃エージェントを訓練する。
論文 参考訳（メタデータ） (2023-12-15T06:16:17Z) - Universal Adversarial Defense in Remote Sensing Based on Pre-trained Denoising Diffusion Models [17.283914361697818]
深部ニューラルネットワーク(DNN)は、地球観測のための多数のAIアプリケーション(AI4EO)において重要なソリューションとして注目されている。
本稿では、リモートセンシング画像(UAD-RS)における新しいユニバーサル・ディフェンス・アプローチを提案する。
論文 参考訳（メタデータ） (2023-07-31T17:21:23Z) - LEAT: Towards Robust Deepfake Disruption in Real-World Scenarios via
Latent Ensemble Attack [11.764601181046496]
生成モデルによって作成された悪意のある視覚コンテンツであるディープフェイクは、社会にますます有害な脅威をもたらす。
近年のディープフェイクの損傷を積極的に軽減するために, 逆方向の摂動を用いてディープフェイクモデルの出力を妨害する研究が進められている。
そこで本研究では,Latent Ensemble ATtack (LEAT) と呼ばれる簡易かつ効果的なディスラプション手法を提案する。
論文 参考訳（メタデータ） (2023-07-04T07:00:37Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-13T13:54:24Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z) - Robust Reinforcement Learning using Adversarial Populations [118.73193330231163]
強化学習(Reinforcement Learning, RL)は、コントローラ設計に有効なツールであるが、堅牢性の問題に対処できる。
一つの逆数を使うことは、逆数の標準的なパラメトリゼーションの下での動的変動に一貫して堅牢性をもたらすわけではないことを示す。
本稿では,ロバスト RL の定式化に対する人口ベース増進法を提案する。
論文 参考訳（メタデータ） (2020-08-04T20:57:32Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。