論文の概要: Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2503.20844v1
• Date: Wed, 26 Mar 2025 15:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:53:45.801200
• Title: Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks
• Title（参考訳）: アダプティブ・グラディエント・マザード・アタックによるロボットの頑健な深層強化学習
• Authors: Zongyuan Zhang, Tianyang Duan, Zheng Lin, Dong Huang, Zihan Fang, Zekai Sun, Ling Xiong, Hongbin Liang, Heming Cui, Yong Cui, Yue Gao,
• Abstract要約: 本稿では、DRLとグラデーションベースのソフトマスキング機構を組み合わせたホワイトボックス攻撃手法であるAGMRアタックを提案し、臨界状態次元を動的に識別し、敵のポリシーを最適化する。 AGMRは、被害者エージェントのパフォーマンスを低下させ、敵防御機構を通じて被害者エージェントの堅牢性を高める、最先端の敵攻撃方法より優れる。
• 参考スコア（独自算出の注目度）: 15.825229211045647
• License:
• Abstract: Deep reinforcement learning (DRL) has emerged as a promising approach for robotic control, but its realworld deployment remains challenging due to its vulnerability to environmental perturbations. Existing white-box adversarial attack methods, adapted from supervised learning, fail to effectively target DRL agents as they overlook temporal dynamics and indiscriminately perturb all state dimensions, limiting their impact on long-term rewards. To address these challenges, we propose the Adaptive Gradient-Masked Reinforcement (AGMR) Attack, a white-box attack method that combines DRL with a gradient-based soft masking mechanism to dynamically identify critical state dimensions and optimize adversarial policies. AGMR selectively allocates perturbations to the most impactful state features and incorporates a dynamic adjustment mechanism to balance exploration and exploitation during training. Extensive experiments demonstrate that AGMR outperforms state-of-the-art adversarial attack methods in degrading the performance of the victim agent and enhances the victim agent's robustness through adversarial defense mechanisms.
• Abstract（参考訳）: 深層強化学習(DRL)はロボット制御の有望なアプローチとして登場したが、環境の摂動に対する脆弱性のため、現実の展開は依然として困難である。 既存のホワイトボックス対敵攻撃法は、教師付き学習に適応しており、時間的ダイナミクスを見落とし、全ての状態次元を無差別に摂動させ、長期的報酬に対する影響を制限するため、DRLエージェントを効果的に標的にしない。 これらの課題に対処するために,DRLと勾配に基づくソフトマスキング機構を組み合わせたホワイトボックス攻撃手法であるAdaptive Gradient-Masked Reinforcement (AGMR) 攻撃法を提案する。 AGMRは摂動を最も影響のある状態の特徴に選択的に割り当て、訓練中に探索と利用のバランスをとるための動的調整機構を組み込んでいる。 広範囲な実験により、AGMRは、被害者のエージェントの性能を低下させ、敵防御機構を通じて被害者エージェントの堅牢性を高めるために、最先端の敵攻撃方法より優れていることが示されている。

関連論文リスト

• A Novel Bifurcation Method for Observation Perturbation Attacks on Reinforcement Learning Agents: Load Altering Attacks on a Cyber Physical Power System [1.7887848708497243]
  本研究は,分岐層を用いたグループ差分ロジッツ損失を用いた連続制御のための新しい攻撃手法を提案する。 現実的なスマートエネルギー環境における強力な勾配に基づく攻撃の影響を実証する。
  論文  参考訳（メタデータ） (2024-07-06T20:55:24Z)
• Multi-granular Adversarial Attacks against Black-box Neural Ranking Models [111.58315434849047]
  多粒性摂動を取り入れた高品質な逆数例を作成する。 我々は,多粒体攻撃を逐次的意思決定プロセスに変換する。 本手法は,攻撃の有効性と非受容性の両方において,一般的なベースラインを超えている。
  論文  参考訳（メタデータ） (2024-04-02T02:08:29Z)
• Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey [8.1138182541639]
  Deep Reinforcement Learning (DRL)は、複雑な環境を横断してシーケンシャルなアクションをとる自律エージェントを訓練するための機械学習のサブフィールドである。 微妙な条件の変化の影響を受けながらも、現実のアプリケーションにおける信頼性への懸念を高めている。 DRLのロバスト性向上手法として, 環境条件の未知の変化と摂動の可能性について考察する。
  論文  参考訳（メタデータ） (2024-03-01T10:16:46Z)
• Embodied Laser Attack:Leveraging Scene Priors to Achieve Agent-based Robust Non-contact Attacks [13.726534285661717]
  本稿では,非接触レーザー攻撃を動的に調整する新しい枠組みであるEmbodied Laser Attack (ELA)を紹介する。 認識モジュールのために,ERAは交通シーンの本質的な事前知識に基づいて,局所的な視点変換ネットワークを革新的に開発してきた。 決定と制御モジュールのために、ERAは時間を要するアルゴリズムを採用する代わりに、データ駆動の強化学習で攻撃エージェントを訓練する。
  論文  参考訳（メタデータ） (2023-12-15T06:16:17Z)
• Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties [5.78419291062552]
  本稿では,データ駆動型深層強化学習フレームワークを提案する。 動的防御最適化問題は、異なる種類の敵に対する複数の保護姿勢で定式化される。
  論文  参考訳（メタデータ） (2023-02-03T08:33:33Z)
• Towards Adversarial Realism and Robust Learning for IoT Intrusion Detection and Classification [0.0]
  IoT(Internet of Things)は、重大なセキュリティ上の課題に直面している。 敵の攻撃による脅威の増大は、信頼できる防衛戦略の必要性を回復させる。 本研究は、敵のサイバー攻撃事例が現実的であるために必要な制約の種類について述べる。
  論文  参考訳（メタデータ） (2023-01-30T18:00:28Z)
• Guidance Through Surrogate: Towards a Generic Diagnostic Attack [101.36906370355435]
  我々は、攻撃最適化中に局所最小限を避けるための誘導機構を開発し、G-PGAと呼ばれる新たな攻撃に繋がる。 修正された攻撃では、ランダムに再起動したり、多数の攻撃を繰り返したり、最適なステップサイズを検索したりする必要がありません。 効果的な攻撃以上に、G-PGAは敵防御における勾配マスキングによる解離性堅牢性を明らかにするための診断ツールとして用いられる。
  論文  参考訳（メタデータ） (2022-12-30T18:45:23Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [59.58128343334556]
  我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。 本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。 また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
  論文  参考訳（メタデータ） (2020-11-30T16:39:39Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。