論文の概要: Towards Understanding the Dynamics of the First-Order Adversaries

• arxiv url: http://arxiv.org/abs/2010.10650v1
• Date: Tue, 20 Oct 2020 22:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:30:32.055026
• Title: Towards Understanding the Dynamics of the First-Order Adversaries
• Title（参考訳）: 第一級広告主のダイナミクスの理解に向けて
• Authors: Zhun Deng, Hangfeng He, Jiaoyang Huang, Weijie J. Su
• Abstract要約: ニューラルネットワークの弱点として認識されているのは、入力に対する敵の摂動に対する脆弱性である。 最も一般的な防御機構の1つは、投射された上昇を使って入力の制約された摂動による損失を最大化し、重量を最小化することである。 二次的損失を有する2層ニューラルネットワークの逆方向の非凹面環境について検討する。
• 参考スコア（独自算出の注目度）: 40.54670072901657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An acknowledged weakness of neural networks is their vulnerability to adversarial perturbations to the inputs. To improve the robustness of these models, one of the most popular defense mechanisms is to alternatively maximize the loss over the constrained perturbations (or called adversaries) on the inputs using projected gradient ascent and minimize over weights. In this paper, we analyze the dynamics of the maximization step towards understanding the experimentally observed effectiveness of this defense mechanism. Specifically, we investigate the non-concave landscape of the adversaries for a two-layer neural network with a quadratic loss. Our main result proves that projected gradient ascent finds a local maximum of this non-concave problem in a polynomial number of iterations with high probability. To our knowledge, this is the first work that provides a convergence analysis of the first-order adversaries. Moreover, our analysis demonstrates that, in the initial phase of adversarial training, the scale of the inputs matters in the sense that a smaller input scale leads to faster convergence of adversarial training and a "more regular" landscape. Finally, we show that these theoretical findings are in excellent agreement with a series of experiments.
• Abstract（参考訳）: ニューラルネットワークの弱点は、入力に対する敵の摂動に対する脆弱性である。 これらのモデルのロバスト性を改善するために、最も一般的な防御機構の1つは、投影された勾配上昇を用いて入力に対する制約付き摂動(または敵と呼ばれる)の損失を最大化し、重みを最小化することである。 本稿では,この防御機構の実験的に観察された有効性を理解するための最大化ステップのダイナミクスを解析する。 具体的には,二次損失を持つ2層ニューラルネットワークの逆方向の非凹型景観について検討する。 主な結果は, この非凹凸問題の局所的最大値が, 高確率の多項式数で示されることを示す。 我々の知る限り、これは第一次敵の収束解析を提供する最初の研究である。 さらに,本分析は, 対人訓練の初期段階において, 入力尺度の規模が小さくなれば, 対人訓練や「より規則的な」風景の収束が早くなることを示す。 最後に,これらの理論的な知見は,一連の実験とよく一致していることを示す。

関連論文リスト

• Outliers with Opposing Signals Have an Outsized Effect on Neural Network Optimization [36.72245290832128]
  自然データにおける深度とヘビーテール構造との相互作用から生じるニューラルネットワーク最適化の新たな現象を同定する。 特に、プログレッシブ・シャープニングと安定性の端について、概念的に新しい原因を示唆している。 強い反対信号を持つトレーニングデータにおいて,2組のオフレーヤ群が有意な影響を示した。
  論文  参考訳（メタデータ） (2023-11-07T17:43:50Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Improving Adversarial Robustness by Enforcing Local and Global Compactness [19.8818435601131]
  敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。 本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。 実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-10T00:43:06Z)
• On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them [57.957466608543676]
  機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。 曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
  論文  参考訳（メタデータ） (2020-06-15T13:50:23Z)
• Perturbation Analysis of Gradient-based Adversarial Attacks [2.3016608994689274]
  本稿では,L-BFGS攻撃,反復的高速勾配符号攻撃,Carliini & Wagner's attack (CW) の3つの一般的な例生成手法の目的機能について検討する。 具体的には、ImageNetデータセットに大規模な実験結果を配置しながら、上記の攻撃の根底にある損失関数の比較および形式解析を行う。 実験の結果, 敵の例を生成するのに高速と思われる反復的高速勾配符号攻撃は, 敵の例を作成するのに要する反復回数において最悪の攻撃であることがわかった。
  論文  参考訳（メタデータ） (2020-06-02T08:51:37Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。