論文の概要: Regularizers for Single-step Adversarial Training

• arxiv url: http://arxiv.org/abs/2002.00614v1
• Date: Mon, 3 Feb 2020 09:21:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 08:31:36.954693
• Title: Regularizers for Single-step Adversarial Training
• Title（参考訳）: 単段階学習のためのレギュレータ
• Authors: B.S. Vivek, R. Venkatesh Babu
• Abstract要約: 本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
• 参考スコア（独自算出の注目度）: 49.65499307547198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The progress in the last decade has enabled machine learning models to achieve impressive performance across a wide range of tasks in Computer Vision. However, a plethora of works have demonstrated the susceptibility of these models to adversarial samples. Adversarial training procedure has been proposed to defend against such adversarial attacks. Adversarial training methods augment mini-batches with adversarial samples, and typically single-step (non-iterative) methods are used for generating these adversarial samples. However, models trained using single-step adversarial training converge to degenerative minima where the model merely appears to be robust. The pseudo robustness of these models is due to the gradient masking effect. Although multi-step adversarial training helps to learn robust models, they are hard to scale due to the use of iterative methods for generating adversarial samples. To address these issues, we propose three different types of regularizers that help to learn robust models using single-step adversarial training methods. The proposed regularizers mitigate the effect of gradient masking by harnessing on properties that differentiate a robust model from that of a pseudo robust model. Performance of models trained using the proposed regularizers is on par with models trained using computationally expensive multi-step adversarial training methods.
• Abstract（参考訳）: 過去10年間の進歩により、機械学習モデルはコンピュータビジョンの幅広いタスクで印象的なパフォーマンスを達成できるようになった。 しかし、多くの研究がこれらのモデルが敵対的なサンプルに感受性があることを証明している。 このような敵の攻撃から守るために、敵の訓練手順が提案されている。 adversarial training methodは、adversarial sampleを伴うミニバッチを増強し、通常、single-step (non-iterative) メソッドは、これらのadversarial sampleを生成するために使用される。 しかし、単段階逆行訓練を用いて訓練されたモデルは、モデルが単に堅牢であるように見える縮退ミニマに収束する。 これらのモデルの擬似ロバスト性は勾配マスキング効果によるものである。 多段階の逆行訓練は、頑健なモデルを学ぶのに役立つが、逆行サンプルの生成に反復的手法を用いるため、スケールが困難である。 これらの問題に対処するために,我々は,単段逆学習法を用いて頑健なモデルを学ぶための3種類の正規化器を提案する。 提案する正則化器は,ロバストモデルと擬似ロバストモデルとを区別する特性を活用することで,勾配マスキングの効果を緩和する。 提案する正規化器を用いてトレーニングしたモデルの性能は、計算コストの高いマルチステップ・アドバーサリー・トレーニング法でトレーニングされたモデルと同等である。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Enhancing Targeted Attack Transferability via Diversified Weight Pruning [0.3222802562733786]
  悪意のある攻撃者は、画像に人間の知覚できないノイズを与えることによって、標的となる敵の例を生成することができる。 クロスモデル転送可能な敵の例では、モデル情報が攻撃者から秘密にされている場合でも、ニューラルネットワークの脆弱性は残る。 近年の研究では, エンサンブル法の有効性が示されている。
  論文  参考訳（メタデータ） (2022-08-18T07:25:48Z)
• Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
  健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。 本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。 さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2022-04-28T00:07:15Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Robustness and Generalization via Generative Adversarial Training [21.946687274313177]
  本稿では,テストセットとドメイン外サンプルに対するモデルの一般化を同時に改善する手法であるジェネレーティブ・アドバイサル・トレーニングを提案する。 提案手法は、クリーンな画像やドメイン外サンプルのモデルの性能を向上させるだけでなく、予期せぬ攻撃に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-09-06T22:34:04Z)
• Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
  クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。 この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。 メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
  論文  参考訳（メタデータ） (2021-09-05T03:27:46Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。