論文の概要: GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization

• arxiv url: http://arxiv.org/abs/2107.02425v1
• Date: Tue, 6 Jul 2021 06:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 13:43:53.471450
• Title: GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
• Title（参考訳）: GradDiv: 勾配多様性規則化によるランダム化ニューラルネットワークの逆ロバスト性
• Authors: Sungyoon Lee, Hoki Kim, Jaewook Lee
• Abstract要約: プロキシ勾配を用いた敵攻撃がランダム化ニューラルネットワークに与える影響について検討する。 より散らばった場合,プロキシ勾配は効果が低いことを示す。 ニューラルネットワークを構築するための勾配の濃度を最小化するグラディエント・ダイバーシティ(GradDiv)正則化を提案する。
• 参考スコア（独自算出の注目度）: 3.9157051137215504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning is vulnerable to adversarial examples. Many defenses based on randomized neural networks have been proposed to solve the problem, but fail to achieve robustness against attacks using proxy gradients such as the Expectation over Transformation (EOT) attack. We investigate the effect of the adversarial attacks using proxy gradients on randomized neural networks and demonstrate that it highly relies on the directional distribution of the loss gradients of the randomized neural network. We show in particular that proxy gradients are less effective when the gradients are more scattered. To this end, we propose Gradient Diversity (GradDiv) regularizations that minimize the concentration of the gradients to build a robust randomized neural network. Our experiments on MNIST, CIFAR10, and STL10 show that our proposed GradDiv regularizations improve the adversarial robustness of randomized neural networks against a variety of state-of-the-art attack methods. Moreover, our method efficiently reduces the transferability among sample models of randomized neural networks.
• Abstract（参考訳）: ディープラーニングは、敵の例に弱い。 ランダム化されたニューラルネットワークに基づく多くのディフェンスがこの問題を解決するために提案されているが、EOT攻撃のようなプロキシ勾配を用いた攻撃に対して堅牢性を達成することはできない。 本研究では,ランダム化ニューラルネットワークに対するプロキシ勾配を用いた逆攻撃の効果を調査し,ランダム化ニューラルネットワークの損失勾配の方向分布に大きく依存することを示す。 特に、勾配が分散している場合、プロキシ勾配は効果が低いことを示す。 この目的のために,ロバストなランダム化ニューラルネットワークを構築するために,勾配の濃度を最小化する勾配多様性(graddiv)正則化を提案する。 mnist, cifar10, stl10を用いた実験により, 提案するgraddiv正規化により, 様々な最先端攻撃手法に対して, ランダム化ニューラルネットワークの対向ロバスト性が向上することを示した。 さらに,ランダム化ニューラルネットワークのサンプルモデル間の転送性を効率的に低減する。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Robustness against Adversarial Attacks in Neural Networks using Incremental Dissipativity [3.8673567847548114]
  逆例はニューラルネットワークの分類性能を低下させるのが容易である。 本研究は,ニューラルネットワークに対する漸進的拡散性に基づくロバスト性証明を提案する。
  論文  参考訳（メタデータ） (2021-11-25T04:42:57Z)
• Neural Network Adversarial Attack Method Based on Improved Genetic Algorithm [0.0]
  改良された遺伝的アルゴリズムに基づくニューラルネットワーク逆攻撃法を提案する。 この方法は、ニューラルネットワークモデルの内部構造やパラメータ情報を必要としない。
  論文  参考訳（メタデータ） (2021-10-05T04:46:16Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Improving Transformation-based Defenses against Adversarial Examples with First-order Perturbations [16.346349209014182]
  研究によると、ニューラルネットワークは敵の攻撃を受けやすい。 これにより、ニューラルネットワークベースのインテリジェントシステムに対する潜在的な脅威が露呈する。 本稿では, 対向性強靭性を改善するために, 対向性摂動に対処する手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T06:27:24Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。