論文の概要: Reducing Exploitability with Population Based Training

• arxiv url: http://arxiv.org/abs/2208.05083v1
• Date: Wed, 10 Aug 2022 00:04:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 12:36:00.084510
• Title: Reducing Exploitability with Population Based Training
• Title（参考訳）: 人口ベーストレーニングによる爆発性低減
• Authors: Pavel Czempin and Adam Gleave
• Abstract要約: セルフプレイ強化学習は、様々なゼロサムゲームにおいて最先端で、しばしば超人的なパフォーマンスを達成した。 これまでの研究では、通常の敵に対して高い能力を持つ政策は、敵の政策に対して破滅的に失敗する可能性があることが判明している。 本研究は, 人口ベーストレーニングを用いて, 被害者を多様な相手と対戦させる防衛法を提案する。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-play reinforcement learning has achieved state-of-the-art, and often superhuman, performance in a variety of zero-sum games. Yet prior work has found that policies that are highly capable against regular opponents can fail catastrophically against adversarial policies: an opponent trained explicitly against the victim. Prior defenses using adversarial training were able to make the victim robust to a specific adversary, but the victim remained vulnerable to new ones. We conjecture this limitation was due to insufficient diversity of adversaries seen during training. We propose a defense using population based training to pit the victim against a diverse set of opponents. We evaluate this defense's robustness against new adversaries in two low-dimensional environments. Our defense increases robustness against adversaries, as measured by number of attacker training timesteps to exploit the victim. Furthermore, we show that robustness is correlated with the size of the opponent population.
• Abstract（参考訳）: 自己プレイ強化学習は、様々なゼロサムゲームで最新かつしばしば超人的なパフォーマンスを達成している。 しかし、以前の研究によると、通常の敵に対して高い能力を持つ政策は、敵の政策に対して破滅的に失敗する可能性がある。 敵の訓練による以前の防衛は、被害者を特定の敵に対して堅牢にすることができたが、犠牲者は新しい敵に対して脆弱なままであった。 この制限は、トレーニング中に見られる敵の多様性の不足によるものだと推測する。 本研究は, 人口ベーストレーニングを用いて, 被害者を多様な相手と対戦させる防衛法を提案する。 2つの低次元環境における新たな敵に対する防御の堅牢性を評価する。 我々の防御は 敵に対する強固さを増す 被害者を搾取するための 攻撃者の訓練時間によって測定される さらに,頑健性は相手集団の大きさと相関することを示した。

関連論文リスト

• Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL [46.32591437241358]
  本稿では、訓練された被害者エージェントが他のエージェントを制御する攻撃者によって悪用されるマルチエージェント設定について考察する。 以前のモデルでは、攻撃者が$alpha$に対する部分的な制御しか持たない可能性や、攻撃が容易に検出可能な"異常"な振る舞いを生じさせる可能性を考慮していない。 我々は、敵がエージェントをどの程度制御できるかをモデル化する柔軟性を持つ汎用攻撃フレームワークを導入する。 我々は、時間的分離を伴う敵の訓練を通じて、最も堅牢な被害者政策への収束を証明可能な効率のよい防御を提供する。
  論文  参考訳（メタデータ） (2023-05-27T02:54:07Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Adversarial Machine Learning and Defense Game for NextG Signal Classification with Deep Learning [1.1726528038065764]
  NextGシステムは、ユーザ機器の識別、物理層認証、既存ユーザの検出など、さまざまなタスクにディープニューラルネットワーク(DNN)を使用することができる。 本稿では,深層学習に基づくNextG信号分類のための攻撃と防御の相互作用を研究するゲーム理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-22T15:13:03Z)
• Universal Adversarial Training with Class-Wise Perturbations [78.05383266222285]
  敵の訓練は 敵の攻撃を防御するために 最も広く使われる方法です この作業では、UAPがすべてのクラスを等しく攻撃しないことがわかります。 我々は,対人訓練におけるクラスワイドUAPの利用を提案することで,SOTA UATを改善した。
  論文  参考訳（メタデータ） (2021-04-07T09:05:49Z)
• What Doesn't Kill You Makes You Robust(er): Adversarial Training against Poisons and Backdoors [57.040948169155925]
  敵対的なトレーニングフレームワークを拡張し、(訓練時間)中毒やバックドア攻撃から防御します。 本手法は, トレーニング中に毒を発生させ, トレーニングバッチに注入することにより, ネットワークを中毒の影響に敏感化する。 この防御は、適応攻撃に耐え、多様な脅威モデルに一般化し、以前の防御よりも優れた性能のトレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-02-26T17:54:36Z)
• Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [59.58128343334556]
  我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。 本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。 また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
  論文  参考訳（メタデータ） (2020-11-30T16:39:39Z)
• Harnessing adversarial examples with a surprisingly simple defense [47.64219291655723]
  敵の例に対抗して、非常に簡単な方法を紹介します。 基本的な考え方は、テスト時にReLU関数の傾きを上げることである。 MNISTとCIFAR-10データセットによる実験では、提案された防御の有効性が示されている。
  論文  参考訳（メタデータ） (2020-04-26T03:09:42Z)
• Attacks Which Do Not Kill Training Make Adversarial Learning Stronger [85.96849265039619]
  ミニマックス定式化に基づく敵対的訓練は、訓練されたモデルの敵対的堅牢性を得るのに必要である。 敵のトレーニングは、現在のモデルを更新するために、確実な敵のデータを取り入れることである、と我々は主張する。
  論文  参考訳（メタデータ） (2020-02-26T01:04:38Z)
• Deflecting Adversarial Attacks [94.85315681223702]
  我々は、攻撃者が攻撃対象クラスに似た入力を生成することによって、敵攻撃を「防御」するこのサイクルを終わらせる新しいアプローチを提案する。 本稿ではまず,3つの検出機構を組み合わせたカプセルネットワークに基づくより強力な防御手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T06:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。