論文の概要: Improve Adversarial Robustness via Weight Penalization on Classification Layer

• arxiv url: http://arxiv.org/abs/2010.03844v1
• Date: Thu, 8 Oct 2020 08:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:41:13.265036
• Title: Improve Adversarial Robustness via Weight Penalization on Classification Layer
• Title（参考訳）: 分類層の重み付けによる対向ロバスト性の改善
• Authors: Cong Xu, Dan Li and Min Yang
• Abstract要約: ディープニューラルネットワークは敵の攻撃に弱い。 近年の研究では、よく設計された分類部品がより堅牢性をもたらすことが示されている。 我々は,新しい軽量化防御法を開発した。
• 参考スコア（独自算出の注目度）: 20.84248493946059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that deep neural networks are vulnerable to adversarial attacks. Recent studies show that well-designed classification parts can lead to better robustness. However, there is still much space for improvement along this line. In this paper, we first prove that, from a geometric point of view, the robustness of a neural network is equivalent to some angular margin condition of the classifier weights. We then explain why ReLU type function is not a good choice for activation under this framework. These findings reveal the limitations of the existing approaches and lead us to develop a novel light-weight-penalized defensive method, which is simple and has a good scalability. Empirical results on multiple benchmark datasets demonstrate that our method can effectively improve the robustness of the network without requiring too much additional computation, while maintaining a high classification precision for clean data.
• Abstract（参考訳）: ディープニューラルネットワークが敵の攻撃に弱いことはよく知られている。 近年の研究では、よく設計された分類部品がより堅牢性をもたらすことが示されている。 しかし、この路線にはまだ改善の余地がたくさんある。 本稿では,まず,幾何学的な観点から,ニューラルネットワークのロバスト性が分類器重みの角縁条件と同値であることを証明する。 次に、このフレームワークでReLU型関数がアクティベーションに適さない理由を説明します。 これらの結果から,既存のアプローチの限界が明らかとなり,よりシンプルで拡張性に優れた,軽量化防衛手法の開発に繋がった。 複数のベンチマークデータセットに対する実験結果から,クリーンデータに対する高い分類精度を維持しつつ,余分な計算を必要とせず,ネットワークの堅牢性を効果的に向上できることを示す。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• A Systematic Evaluation of Node Embedding Robustness [77.29026280120277]
  本研究では,ノード埋め込みモデルのランダムおよび逆毒攻撃に対する経験的ロバスト性を評価する。 ネットワーク特性とノードラベルを用いて計算したエッジの追加,削除,再切り替えの戦略を比較した。 その結果,ノード分類はネットワーク再構成とは対照的に,高い性能劣化に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2022-09-16T17:20:23Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Robustness against Adversarial Attacks in Neural Networks using Incremental Dissipativity [3.8673567847548114]
  逆例はニューラルネットワークの分類性能を低下させるのが容易である。 本研究は,ニューラルネットワークに対する漸進的拡散性に基づくロバスト性証明を提案する。
  論文  参考訳（メタデータ） (2021-11-25T04:42:57Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• An Orthogonal Classifier for Improving the Adversarial Robustness of Neural Networks [21.13588742648554]
  近年の研究では、分類層に特定の変更を加えることで、ニューラルネットワークの堅牢性を向上させることが示されている。 我々は、成分が同じ大きさの高密度直交重み行列を明示的に構築し、新しいロバストな分類器を生み出す。 我々の方法は、多くの最先端の防衛アプローチに対して効率的で競争力がある。
  論文  参考訳（メタデータ） (2021-05-19T13:12:14Z)
• A general framework for defining and optimizing robustness [74.67016173858497]
  分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。 我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。 我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-19T13:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。