論文の概要: Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization

• arxiv url: http://arxiv.org/abs/2410.03376v1
• Date: Fri, 4 Oct 2024 12:41:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 22:48:52.563102
• Title: Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization
• Title（参考訳）: ベクトル量子化による深部強化学習における逆方向摂動の緩和
• Authors: Tung M. Luu, Thanh Nguyen, Tee Joshua Tian Jin, Sungwoon Kim, Chang D. Yoo,
• Abstract要約: 優れた強化学習(RL)エージェントは、展開中に敵の摂動に対してレジリエンスを欠いていることが多い。 これは、現実世界にデプロイする前に堅牢なエージェントを構築することの重要性を強調している。 本研究では,RLの入力変換に基づくディフェンスについて検討する。
• 参考スコア（独自算出の注目度）: 18.56608399174564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies reveal that well-performing reinforcement learning (RL) agents in training often lack resilience against adversarial perturbations during deployment. This highlights the importance of building a robust agent before deploying it in the real world. Most prior works focus on developing robust training-based procedures to tackle this problem, including enhancing the robustness of the deep neural network component itself or adversarially training the agent on strong attacks. In this work, we instead study an input transformation-based defense for RL. Specifically, we propose using a variant of vector quantization (VQ) as a transformation for input observations, which is then used to reduce the space of adversarial attacks during testing, resulting in the transformed observations being less affected by attacks. Our method is computationally efficient and seamlessly integrates with adversarial training, further enhancing the robustness of RL agents against adversarial attacks. Through extensive experiments in multiple environments, we demonstrate that using VQ as the input transformation effectively defends against adversarial attacks on the agent's observations.
• Abstract（参考訳）: 近年の研究では、訓練における優れた強化学習(RL)エージェントは、デプロイメント中に敵の摂動に対してレジリエンスを欠いていることが示されている。 これは、現実世界にデプロイする前に堅牢なエージェントを構築することの重要性を強調している。 従来の作業は、ディープニューラルネットワークコンポーネント自体の堅牢性の向上や、強力な攻撃に対するエージェントの対角的なトレーニングなど、この問題に対処するための堅牢なトレーニングベースの手順の開発に重点を置いていた。 そこで本研究では,RLの入力変換に基づくディフェンスについて検討する。 具体的には、ベクトル量子化(VQ)の変種を入力観測の変換として使用し、テスト中の敵攻撃の空間を削減し、その結果、変換された観測は攻撃の影響を受けない。 本手法は, 計算効率が高く, 対人訓練とシームレスに統合され, 対人攻撃に対するRLエージェントの堅牢性をさらに向上する。 複数の環境における広範囲な実験を通して、VQを入力変換として使用すると、エージェントの観察に対する敵の攻撃に対して効果的に防御できることを示した。

関連論文リスト

• On the Perturbed States for Transformed Input-robust Reinforcement Learning [24.11603621594292]
  強化学習 (Reinforcement Learning, RL) エージェントは、展開中の入力観察において、敵の摂動に対する脆弱性を示す。 我々は、堅牢なRLエージェントの学習に変換に基づく防御を適用するための2つの原則を紹介した。 複数のMuJoCo環境の実験では、入力変換ベースの防御が複数の敵に対して防御されていることが示されている。
  論文  参考訳（メタデータ） (2024-07-31T05:31:28Z)
• GenFighter: A Generative and Evolutive Textual Attack Removal [6.044610337297754]
  自然言語処理(NLP)におけるTransformerモデルのような、ディープニューラルネットワーク(DNN)に対するアドリラルアタックは大きな課題となる。 本稿では,訓練分類分布の学習と推論によって敵の堅牢性を高める新しい防衛戦略であるGenFighterを紹介する。 我々は、GenFighterが攻撃および攻撃成功率の指標の下で、最先端の防御能力より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-17T16:32:13Z)
• Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey [8.463282079069362]
  Deep Reinforcement Learning (DRL)は、さまざまな複雑な環境で自律エージェントを訓練するためのアプローチである。 微妙な条件の変化の影響を受けながらも、現実のアプリケーションにおける信頼性への懸念が高まっている。 DRLの未知の変化に対するロバスト性を改善する方法として, 対人訓練がある。
  論文  参考訳（メタデータ） (2024-03-01T10:16:46Z)
• On the Difficulty of Defending Contrastive Learning against Backdoor Attacks [58.824074124014224]
  バックドア攻撃が、特有のメカニズムによってどのように動作するかを示す。 本研究は, 対照的なバックドア攻撃の特異性に合わせて, 防御の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-12-14T15:54:52Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning [32.12283927682007]
  深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。 関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。 第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。 本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
  論文  参考訳（メタデータ） (2021-06-30T07:41:51Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。