論文の概要: Adversarial Training Should Be Cast as a Non-Zero-Sum Game

• arxiv url: http://arxiv.org/abs/2306.11035v1
• Date: Mon, 19 Jun 2023 16:00:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 16:58:29.817583
• Title: Adversarial Training Should Be Cast as a Non-Zero-Sum Game
• Title（参考訳）: 非ゼロサムゲームとしての対戦トレーニング
• Authors: Alexander Robey, Fabian Latorre, George J. Pappas, Hamed Hassani, Volkan Cevher
• Abstract要約: 逆行訓練では、予測子は逆行するデータの摂動に対して訓練される。 対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。 逆行訓練アルゴリズムでよく用いられる代理的緩和は、訓練された分類器の堅牢性に関するすべての保証を無効にすることを示す。
• 参考スコア（独自算出の注目度）: 125.91054859947693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One prominent approach toward resolving the adversarial vulnerability of deep neural networks is the two-player zero-sum paradigm of adversarial training, in which predictors are trained against adversarially-chosen perturbations of data. Despite the promise of this approach, algorithms based on this paradigm have not engendered sufficient levels of robustness, and suffer from pathological behavior like robust overfitting. To understand this shortcoming, we first show that the commonly used surrogate-based relaxation used in adversarial training algorithms voids all guarantees on the robustness of trained classifiers. The identification of this pitfall informs a novel non-zero-sum bilevel formulation of adversarial training, wherein each player optimizes a different objective function. Our formulation naturally yields a simple algorithmic framework that matches and in some cases outperforms state-of-the-art attacks, attains comparable levels of robustness to standard adversarial training algorithms, and does not suffer from robust overfitting.
• Abstract（参考訳）: ディープニューラルネットワークの敵意的脆弱性を解決するための重要なアプローチの一つは、2人のプレイヤーによる敵意トレーニングのゼロサムパラダイムである。 このアプローチの約束にもかかわらず、このパラダイムに基づくアルゴリズムは十分なレベルのロバスト性を有しておらず、ロバストオーバーフィッティングのような病的行動に苦しめられている。 この欠点を理解するために、まず、敵対的学習アルゴリズムでよく使われる代理に基づく緩和が、訓練された分類器の堅牢性に関するすべての保証を無効にすることを示す。 この落とし穴の特定は、新しい非ゼロサム二段階の対向訓練の定式化を知らせ、各プレイヤーは異なる目的関数を最適化する。 我々の定式化は自然に、最先端の攻撃に匹敵する単純なアルゴリズムフレームワークを生み出し、標準的な敵の訓練アルゴリズムに匹敵するレベルの堅牢性を達成し、強固な過剰フィッティングに苦しむことはない。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
  ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。 強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。 我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。 その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-11-21T22:01:36Z)
• Improving Adversarial Robustness with Self-Paced Hard-Class Pair Reweighting [5.084323778393556]
  標的外攻撃による敵の訓練は 最も認知されている方法の1つです 自然に不均衡なクラス間のセマンティックな類似性により、これらのハードクラスのペアが互いに仮想的なターゲットになる。 モデル最適化における重み付きハードクラスペアの損失について提案し、ハードクラスからの識別的特徴の学習を促す。
  論文  参考訳（メタデータ） (2022-10-26T22:51:36Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations [10.140147080535224]
  先制攻撃による敵の訓練は、今日の敵の摂動に対する最も効果的な防御の1つである。 本研究では, 逆方向の摂動を自動的にランダムなベクトルから生成ネットワークを用いて合成する頑健な学習アルゴリズムを提案する。 実験結果から, 提案手法は様々な勾配に基づく, 生成的ロバストトレーニング手法により, 同等のロバスト性が得られることがわかった。
  論文  参考訳（メタデータ） (2021-08-22T13:15:24Z)
• A black-box adversarial attack for poisoning clustering [78.19784577498031]
  本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。 我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-09T18:19:31Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。