論文の概要: ZeroGrad : Mitigating and Explaining Catastrophic Overfitting in FGSM Adversarial Training

• arxiv url: http://arxiv.org/abs/2103.15476v1
• Date: Mon, 29 Mar 2021 10:19:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 01:01:56.829839
• Title: ZeroGrad : Mitigating and Explaining Catastrophic Overfitting in FGSM Adversarial Training
• Title（参考訳）: ZeroGrad : FGSM逆行訓練における破壊的オーバーフィッティングの緩和と説明
• Authors: Zeinab Golgooni, Mehrdad Saberi, Masih Eskandar, Mohammad Hossein Rohban
• Abstract要約: 我々は、FGSM攻撃を行うための小さな入力勾配要素をゼロにすることを提案する。 提案手法は, 単純かつ効率的ながら, 各種データセット上での競合対角精度を実現する。
• 参考スコア（独自算出の注目度）: 1.3124513975412255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Making deep neural networks robust to small adversarial noises has recently been sought in many applications. Adversarial training through iterative projected gradient descent (PGD) has been established as one of the mainstream ideas to achieve this goal. However, PGD is computationally demanding and often prohibitive in case of large datasets and models. For this reason, single-step PGD, also known as FGSM, has recently gained interest in the field. Unfortunately, FGSM-training leads to a phenomenon called ``catastrophic overfitting," which is a sudden drop in the adversarial accuracy under the PGD attack. In this paper, we support the idea that small input gradients play a key role in this phenomenon, and hence propose to zero the input gradient elements that are small for crafting FGSM attacks. Our proposed idea, while being simple and efficient, achieves competitive adversarial accuracy on various datasets.
• Abstract（参考訳）: 深層ニューラルネットワークを小さな雑音に頑健にすることは、近年多くのアプリケーションで求められている。 反復射影勾配降下(PGD)による逆行訓練はこの目標を達成するための主流のアイデアの1つとして確立されている。 しかし、pgdは計算上必要であり、大規模なデータセットやモデルの場合、しばしば禁止される。 このため、FGSMとしても知られるシングルステップPGDが最近この分野に関心を寄せている。 残念ながら、fgsm訓練は「破滅的な過剰フィッティング」と呼ばれる現象につながり、pgd攻撃による敵の正確さが突然低下する。 本稿では,この現象において,小さな入力勾配が重要な役割を果たすという考えを支持するとともに,fgsm攻撃に対して小さい入力勾配要素をゼロにすることを提案する。 提案手法は, 単純かつ効率的ながら, 各種データセット上での競合精度を実現する。

関連論文リスト

• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• On-Device Domain Generalization [93.79736882489982]
  ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。 知識蒸留がこの問題の解決の有力な候補であることがわかった。 本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:59:31Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Adversarial Attacks on Deep Learning Based Power Allocation in a Massive MIMO Network [62.77129284830945]
  本稿では,大規模なマルチインプット・マルチアウトプット(MAMIMO)ネットワークのダウンリンクにおいて,逆攻撃がDLベースの電力割り当てを損なう可能性があることを示す。 我々はこれらの攻撃のパフォーマンスをベンチマークし、ニューラルネットワーク(NN)の入力に小さな摂動がある場合、ホワイトボックス攻撃は最大86%まで実現不可能な解決策をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-01-28T16:18:19Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Understanding and Improving Fast Adversarial Training [27.666483899332643]
  最近の研究は、ディープラーニングモデルに敵対的トレーニングを計算効率良くすることに焦点を当てている。 FGSMにランダムなステップを加えることで、破滅的なオーバーフィッティングを防げないことを示す。 破滅的なオーバーフィッティングを防止する新しい正規化法であるGradAlignを提案する。
  論文  参考訳（メタデータ） (2020-07-06T10:16:43Z)
• Towards More Practical Adversarial Attacks on Graph Neural Networks [14.78539966828287]
  グラフニューラルネットワーク(GNN)に対するブラックボックス攻撃を,新規で現実的な制約の下で検討する。 我々は,GNNモデルの構造的帰納バイアスが,この種の攻撃に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-09T05:27:39Z)
• Initializing Perturbations in Multiple Directions for Fast Adversarial Training [1.8638865257327277]
  画像分類において、敵の例は、画像のクリーニングにほとんど知覚できない摂動を加えることで、よく訓練されたディープニューラルネットワークを騙すことができる。 逆行訓練は最も直接的で効果的な方法の1つであり、摂動データの損失を最小限に抑える。 我々はDIP-FAT(Diversified Initialized Perturbations Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2020-05-15T15:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。