論文の概要: COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks

• arxiv url: http://arxiv.org/abs/2203.08398v1
• Date: Wed, 16 Mar 2022 05:02:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 16:02:25.467070
• Title: COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks
• Title（参考訳）: COPA:犯罪に対するオフライン強化学習のためのロバストな政策認定
• Authors: Fan Wu, Linyi Li, Chejian Xu, Huan Zhang, Bhavya Kailkhura, Krishnaram Kenthapadi, Ding Zhao, Bo Li
• Abstract要約: 本研究は, 中毒発生時におけるオフライン強化学習(RL)の堅牢性を検証することに注力する。 本報告では, 許容可能な毒素トラジェクトリの数を認証する最初の認証フレームワークであるCOPAを提案する。 提案手法のいくつかは理論的に厳密であり,一部はNP-Complete問題であることを示す。
• 参考スコア（独自算出の注目度）: 49.15885037760725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As reinforcement learning (RL) has achieved near human-level performance in a variety of tasks, its robustness has raised great attention. While a vast body of research has explored test-time (evasion) attacks in RL and corresponding defenses, its robustness against training-time (poisoning) attacks remains largely unanswered. In this work, we focus on certifying the robustness of offline RL in the presence of poisoning attacks, where a subset of training trajectories could be arbitrarily manipulated. We propose the first certification framework, COPA, to certify the number of poisoning trajectories that can be tolerated regarding different certification criteria. Given the complex structure of RL, we propose two certification criteria: per-state action stability and cumulative reward bound. To further improve the certification, we propose new partition and aggregation protocols to train robust policies. We further prove that some of the proposed certification methods are theoretically tight and some are NP-Complete problems. We leverage COPA to certify three RL environments trained with different algorithms and conclude: (1) The proposed robust aggregation protocols such as temporal aggregation can significantly improve the certifications; (2) Our certification for both per-state action stability and cumulative reward bound are efficient and tight; (3) The certification for different training algorithms and environments are different, implying their intrinsic robustness properties. All experimental results are available at https://copa-leaderboard.github.io.
• Abstract（参考訳）: 強化学習(RL)は,様々なタスクにおいて,人間レベルに近い性能を達成しているため,その堅牢性に大きな注目を集めている。 多数の研究機関がRLおよび対応する防衛におけるテスト時(回避)攻撃を調査してきたが、訓練時(毒殺)攻撃に対する堅牢性はほとんど未解決のままである。 本研究は, 中毒発生時におけるオフラインRLのロバスト性を検証することに焦点を当て, 訓練軌道のサブセットを任意に操作することができる。 本稿では, 認定基準の異なる場合に許容できる中毒跡数を認定する最初の認証フレームワークであるcopaを提案する。 RLの複雑な構造を考えると、状態ごとの動作安定性と累積報酬バウンドの2つの認定基準を提案する。 認証をさらに改善するために,堅牢なポリシをトレーニングするための新たなパーティショニングおよびアグリゲーションプロトコルを提案する。 さらに,提案手法のいくつかは理論的に厳密であり,一部はNP-Complete問題であることを示す。 我々はCOPAを利用して、異なるアルゴリズムで訓練された3つのRL環境を認証し、(1) 時間的集約のような頑健なアグリゲーションプロトコルが証明を大幅に改善できる、(2) 状態ごとの動作安定性と累積報酬バウンドの両方の認証が効率的かつ厳密である、(3) 異なるトレーニングアルゴリズムと環境の認証が異なり、本質的な堅牢性を示唆する。 実験の結果はすべて、https://copa-leaderboard.github.ioで入手できる。

関連論文リスト

• Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks [23.907977144668838]
  本稿では,PMDPの真の状態が学習時にわかっているという仮定を付加する,部分教師付き強化学習(PSRL)フレームワークを提案する。 逆入力摂動下でのPSRLポリシーの安全性を検証するための最初のアプローチと、PSRLを直接利用する2つの逆トレーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-28T22:33:38Z)
• Certified Policy Smoothing for Cooperative Multi-Agent Reinforcement Learning [17.957644784944755]
  保証された認証境界を持つ動作を決定するために,c-MARLの新たな認証手法を提案する。 我々は、我々の認証境界が最先端のRL認証ソリューションよりもはるかに厳密であることを実証的に示す。 本手法は,すべてのモデルと環境に対して有意義なロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-12-22T14:36:27Z)
• Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation [122.83280749890078]
  本報告では, 一般中毒に対する予防的対策として, フィニット・アグリゲーション(Finite Aggregation)を提案する。 トレーニングセットを直接非結合部分集合に分割するDPAとは対照的に、我々の方法はまず、トレーニングセットをより小さな非結合部分集合に分割する。 我々は、決定論的および集約的認証された防御設計をブリッジして、我々の方法の代替的な見解を提供する。
  論文  参考訳（メタデータ） (2022-02-05T20:08:58Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• CROP: Certifying Robust Policies for Reinforcement Learning through Functional Smoothing [41.093241772796475]
  本稿では, 逆境状態の摂動に対する強化学習(CROP)のためのロバスト政策の認定のための最初の枠組みを提案する。 本研究では,国家ごとの行動の堅牢性と累積報酬の低限界の2種類のロバスト性認定基準を提案する。
  論文  参考訳（メタデータ） (2021-06-17T07:58:32Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。