論文の概要: Achieving Model Robustness through Discrete Adversarial Training

• arxiv url: http://arxiv.org/abs/2104.05062v1
• Date: Sun, 11 Apr 2021 17:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:37:33.267961
• Title: Achieving Model Robustness through Discrete Adversarial Training
• Title（参考訳）: 離散的対向訓練によるモデルロバスト性の実現
• Authors: Maor Ivgi and Jonathan Berant
• Abstract要約: 私たちは、各ステップで敵の例が生成されるオンライン増強に離散的な敵対攻撃を利用します。 ランダムサンプリングによってロバスト性は著しく向上し、一般的に使用されるオフライン拡張よりも優れることがわかった。 検索ベースの攻撃によるオンライン強化は、より高いトレーニングコストを正当化し、3つのデータセットの堅牢性を大幅に改善します。
• 参考スコア（独自算出の注目度）: 30.845326360305677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete adversarial attacks are symbolic perturbations to a language input that preserve the output label but lead to a prediction error. While such attacks have been extensively explored for the purpose of evaluating model robustness, their utility for improving robustness has been limited to offline augmentation only, i.e., given a trained model, attacks are used to generate perturbed (adversarial) examples, and the model is re-trained exactly once. In this work, we address this gap and leverage discrete attacks for online augmentation, where adversarial examples are generated at every step, adapting to the changing nature of the model. We also consider efficient attacks based on random sampling, that unlike prior work are not based on expensive search-based procedures. As a second contribution, we provide a general formulation for multiple search-based attacks from past work, and propose a new attack based on best-first search. Surprisingly, we find that random sampling leads to impressive gains in robustness, outperforming the commonly-used offline augmentation, while leading to a speedup at training time of ~10x. Furthermore, online augmentation with search-based attacks justifies the higher training cost, significantly improving robustness on three datasets. Last, we show that our proposed algorithm substantially improves robustness compared to prior methods.
• Abstract（参考訳）: 離散敵攻撃は、出力ラベルを保存するが予測エラーにつながる言語入力に対する象徴的な摂動である。 このような攻撃はモデルのロバスト性を評価する目的で広く研究されているが、ロバスト性を改善するための有用性はオフラインの強化のみに限られている。 本研究では,このギャップに対処し,オンライン拡張のための個別攻撃を活用し,各ステップに逆例を生成し,モデルの性質の変化に適応する。 また,ランダムサンプリングに基づく効率的な攻撃も検討し,従来の作業と異なり,高価な検索手法をベースとしていない。 第2のコントリビューションとして、過去の作業から複数の検索ベースの攻撃を一般化し、ベストファースト検索に基づく新たな攻撃を提案する。 驚いたことに、ランダムサンプリングはロバスト性が著しく向上し、一般的に使用されているオフラインの強化よりも優れており、トレーニング時間は約10倍のスピードアップに繋がる。 さらに、検索ベースの攻撃によるオンライン強化は、より高いトレーニングコストを正当化し、3つのデータセットの堅牢性を大幅に改善する。 最後に,提案アルゴリズムは従来の手法に比べてロバスト性を大幅に向上することを示す。

関連論文リスト

• Improving Adversarial Robustness for 3D Point Cloud Recognition at Test-Time through Purified Self-Training [9.072521170921712]
  3Dポイントのクラウドディープラーニングモデルは、敵の攻撃に対して脆弱である。 敵の浄化は 生成モデルを使って 敵の攻撃の影響を緩和する そこで我々は,この目的を達成するために,テスト時間浄化型自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-23T11:46:38Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Group-based Robustness: A General Framework for Customized Robustness in the Real World [16.376584375681812]
  対象とするロバスト度を計測する従来の指標は、あるソースクラスから別のターゲットクラスへの攻撃に耐えるモデルの能力を適切に反映していないことが分かりました。 我々は、既存のメトリクスを補完し、特定の攻撃シナリオにおけるモデル性能を評価するのに適した新しい指標であるグループベースロバストネスを提案する。 同様の成功率で、新たな損失関数を用いた回避サンプルの発見は、対象とするクラスの数に匹敵する程度に削減できることが示される。
  論文  参考訳（メタデータ） (2023-06-29T01:07:12Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
  健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。 本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。 さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2022-04-28T00:07:15Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)
• Provably robust deep generative models [1.52292571922932]
  本稿では,確率的に堅牢な生成モデル,特に可変オートエンコーダ(VAE)の確率的に堅牢なバージョンを訓練する手法を提案する。 敵攻撃に対して極めて堅牢な生成モデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-22T14:47:41Z)
• Temporal Sparse Adversarial Attack on Sequence-based Gait Recognition [56.844587127848854]
  このような攻撃に対して,最先端の歩行認識モデルが脆弱であることを示す。 生成した対向ネットワークに基づくアーキテクチャを用いて、対向的な高品質な歩行シルエットやビデオフレームを意味的に生成する。 実験結果から, フレームの1分の1しか攻撃されない場合, 対象モデルの精度は劇的に低下することがわかった。
  論文  参考訳（メタデータ） (2020-02-22T10:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。