論文の概要: Towards adversarial robustness with 01 loss neural networks
- arxiv url: http://arxiv.org/abs/2008.09148v1
- Date: Thu, 20 Aug 2020 18:18:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 03:06:04.083445
- Title: Towards adversarial robustness with 01 loss neural networks
- Title（参考訳）: 01損失ニューラルネットワークによる対向ロバスト性に向けて
- Authors: Yunzhe Xue, Meiyan Xie, Usman Roshan
- Abstract要約: 本稿では,機械学習における敵攻撃に対する防御手段として,畳み込み座標降下を訓練した隠れ層01損失ニューラルネットワークを提案する。
我々は、01損失ネットワークの最小歪みを、二項化ニューラルネットワークと標準シグモノイド活性化ネットワークのクロスエントロピー損失と比較した。
我々の研究は、01損失ネットワークが凸損失や双対ネットワークよりもブラックボックス敵攻撃を防御できる可能性を示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the general robustness properties of the 01 loss we propose a
single hidden layer 01 loss neural network trained with stochastic coordinate
descent as a defense against adversarial attacks in machine learning. One
measure of a model's robustness is the minimum distortion required to make the
input adversarial. This can be approximated with the Boundary Attack (Brendel
et. al. 2018) and HopSkipJump (Chen et. al. 2019) methods. We compare the
minimum distortion of the 01 loss network to the binarized neural network and
the standard sigmoid activation network with cross-entropy loss all trained
with and without Gaussian noise on the CIFAR10 benchmark binary classification
between classes 0 and 1. Both with and without noise training we find our 01
loss network to have the largest adversarial distortion of the three models by
non-trivial margins. To further validate these results we subject all models to
substitute model black box attacks under different distortion thresholds and
find that the 01 loss network is the hardest to attack across all distortions.
At a distortion of 0.125 both sigmoid activated cross-entropy loss and
binarized networks have almost 0% accuracy on adversarial examples whereas the
01 loss network is at 40%. Even though both 01 loss and the binarized network
use sign activations their training algorithms are different which in turn give
different solutions for robustness. Finally we compare our network to simple
convolutional models under substitute model black box attacks and find their
accuracies to be comparable. Our work shows that the 01 loss network has the
potential to defend against black box adversarial attacks better than convex
loss and binarized networks.
- Abstract（参考訳）: 01損失の一般ロバスト性に動機づけられて,確率座標降下を訓練した単一の隠れ層01損失ニューラルネットワークを,機械学習における敵対的攻撃に対する防御として提案する。
モデルの堅牢性の1つの尺度は、入力を逆数にするために必要な最小の歪みである。
これは境界攻撃(Brendel et. al. 2018)やHopSkipJump (Chen et. al. 2019)の手法と近似することができる。
01損失ネットワークの最小歪みを二項化ニューラルネットワークと標準シグモイドアクティベーションネットワークと比較し,CIFAR10ベンチマークによるクラス0とクラス1間の二項分類におけるガウス雑音と非ガウス雑音の訓練を行った。
ノイズトレーニングと無ノイズトレーニングの両方で、我々の01損失ネットワークは、非自明なマージンによる3つのモデルの最大の逆歪みを持つ。
これらの結果をさらに検証するため、異なる歪み閾値の下でモデルブラックボックス攻撃に代えて、01損失ネットワークが全ての歪みに対して最も攻撃が難しいことを発見した。
0.125 の歪みでは、Sigmoid activated cross-entropy loss と Binarized Network の両者がほぼ0%の精度であり、01 の損失ネットワークは 40% である。
01の損失と2値化ネットワークの使用の両方が、トレーニングアルゴリズムが異なるため、ロバスト性の異なるソリューションを提供する。
最後に、我々のネットワークを代用モデルブラックボックス攻撃下での単純な畳み込みモデルと比較し、それらの精度を比較検討する。
我々の研究は、01損失ネットワークが凸損失や双対ネットワークよりもブラックボックス敵攻撃を防御できる可能性を示唆している。
関連論文リスト
- Accuracy of TextFooler black box adversarial attacks on 01 loss sign
activation neural network ensemble [5.439020425819001]
近年の研究では、画像分類敵攻撃に対する01損失符号活性化ニューラルネットワークの防御効果が示されている。
01ロスサインアクティベーションニューラルネットワークは、人気のあるブラックボックステキスト対逆攻撃プログラムであるTextFoolerを騙すことが難しいのか?
01ロスサインアクティベーションネットワークは,Sigmoid アクティベーションのクロスエントロピーやバイナリニューラルネットワークと比較して,TextFoolerによる攻撃がはるかに困難であることがわかった。
論文 参考訳（メタデータ） (2024-02-12T00:36:34Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。
ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。
本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
論文 参考訳（メタデータ） (2022-02-03T00:05:08Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Combating Adversaries with Anti-Adversaries [118.70141983415445]
特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。
我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。
我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2021-03-26T09:36:59Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Defending against substitute model black box adversarial attacks with
the 01 loss [0.0]
代用モデルブラックボックス攻撃に対する防御として,01損失線形と01損失二重層ニューラルネットワークモデルを提案する。
我々の研究は、01損失モデルが代替モデルブラックボックス攻撃に対する強力な防御を提供することを示している。
論文 参考訳（メタデータ） (2020-09-01T22:32:51Z) - On the transferability of adversarial examples between convex and 01
loss models [0.0]
線形01損失と凸(隠れ)損失モデルの間の逆例の転送可能性について検討した。
両層ニューラルネットワークにおいて, 01損失の不連続性により, 敵の移動が不可能になることを示す。
01損失の2層符号活性化ネットワークは,単純な畳み込みネットワークと同程度の堅牢性が得られることを示す。
論文 参考訳（メタデータ） (2020-06-14T04:51:45Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Robust binary classification with the 01 loss [0.0]
線形01損失と1つの隠蔽層01損失ニューラルネットワークの座標降下アルゴリズムを開発した。
本稿では,線形サポートベクトルマシンとロジスティックロス単一隠蔽層ネットワークとを高速かつ精度良く比較した。
論文 参考訳（メタデータ） (2020-02-09T20:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。