論文の概要: On the transferability of adversarial examples between convex and 01
loss models
- arxiv url: http://arxiv.org/abs/2006.07800v2
- Date: Wed, 29 Jul 2020 20:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 09:50:56.835991
- Title: On the transferability of adversarial examples between convex and 01
loss models
- Title(参考訳): 凸モデルと01損失モデル間の逆例の移動可能性について
- Authors: Yunzhe Xue, Meiyan Xie, Usman Roshan
- Abstract要約: 線形01損失と凸(隠れ)損失モデルの間の逆例の転送可能性について検討した。
両層ニューラルネットワークにおいて, 01損失の不連続性により, 敵の移動が不可能になることを示す。
01損失の2層符号活性化ネットワークは,単純な畳み込みネットワークと同程度の堅牢性が得られることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The 01 loss gives different and more accurate boundaries than convex loss
models in the presence of outliers. Could the difference of boundaries
translate to adversarial examples that are non-transferable between 01 loss and
convex models? We explore this empirically in this paper by studying
transferability of adversarial examples between linear 01 loss and convex
(hinge) loss models, and between dual layer neural networks with sign
activation and 01 loss vs sigmoid activation and logistic loss. We first show
that white box adversarial examples do not transfer effectively between convex
and 01 loss and between 01 loss models compared to between convex models. As a
result of this non-transferability we see that convex substitute model black
box attacks are less effective on 01 loss than convex models. Interestingly we
also see that 01 loss substitute model attacks are ineffective on both convex
and 01 loss models mostly likely due to the non-uniqueness of 01 loss models.
We show intuitively by example how the presence of outliers can cause different
decision boundaries between 01 and convex loss models which in turn produces
adversaries that are non-transferable. Indeed we see on MNIST that adversaries
transfer between 01 loss and convex models more easily than on CIFAR10 and
ImageNet which are likely to contain outliers. We show intuitively by example
how the non-continuity of 01 loss makes adversaries non-transferable in a dual
layer neural network. We discretize CIFAR10 features to be more like MNIST and
find that it does not improve transferability, thus suggesting that different
boundaries due to outliers are more likely the cause of non-transferability. As
a result of this non-transferability we show that our dual layer sign
activation network with 01 loss can attain robustness on par with simple
convolutional networks.
- Abstract(参考訳): 01損失は、外れ値が存在する場合の凸損失モデルとは異なる、より正確な境界を与える。
境界の差は、01損失と凸モデルの間の非伝達可能な逆例に変換できるだろうか?
本稿では,線形01損失と凸(ヒンジ)損失モデル,および符号活性化を伴う二重層ニューラルネットワークとsigoidアクティベーションに対する01損失とロジスティック損失との相反例の伝達可能性について検討した。
まず,白箱逆転例は,凸モデルと01損失モデルと,凸モデルと01損失モデルの間で効果的に移動しないことを示す。
この非伝達性の結果、凸代替ブラックボックス攻撃は凸モデルよりも01損失に対して効果が低いことがわかった。
興味深いことに、01損失代用モデル攻撃が凸モデルと01損失モデルの両方で効果がないことも示している。
例えば、アウトリアーの存在が01と凸損失モデルの間に異なる決定境界を生じさせ、それが変換不能な敵を生み出すことを直感的に示す。
実際、MNIST上では、CIFAR10やImageNetよりも、01の損失と凸モデルの間の敵の移動が容易に行える。
両層ニューラルネットワークにおいて,01損失の不連続性によって逆転が不可能になることを示す。
我々は、CIFAR10の機能はMNISTによく似ており、トランスファービリティが向上していないことを認識しており、アウトレーヤによる異なるバウンダリが非トランスファービリティの原因である可能性が高いことを示唆している。
この非透過性により、01損失の2層符号活性化ネットワークは、単純な畳み込みネットワークと同程度の堅牢性が得られることを示す。
関連論文リスト
- Tightening the Approximation Error of Adversarial Risk with Auto Loss
Function Search [12.263913626161155]
一般的な評価手法は、モデルの逆方向リスクをロバスト性指標として近似することである。
本稿では,エラーを厳格化するための損失関数を探索する最初の手法であるAutoLoss-ARを提案する。
その結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2021-11-09T11:47:43Z) - Sample Selection with Uncertainty of Losses for Learning with Noisy
Labels [145.06552420999986]
ノイズの多いラベルで学習する際、サンプル選択アプローチは非常に人気があり、小さなロスデータをトレーニング中に正しくラベル付けされているとみなす。
しかし、ノイズラベルでトレーニングされたモデルに基づいて、損失をオンザフライで発生させるため、大容量のデータはおそらく正しくないが、確実に誤りではない。
本稿では,損失点推定の代わりに間隔推定を採用することにより,損失の不確実性を取り入れる。
論文 参考訳(メタデータ) (2021-06-01T12:53:53Z) - Improving Adversarial Robustness via Probabilistically Compact Loss with
Logit Constraints [19.766374145321528]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの様々なタスクで最先端のパフォーマンスを達成しました。
最近の研究では、これらのモデルは慎重に作られた敵のサンプルに対して脆弱であり、予測時に大幅なパフォーマンス低下に苦しむことが示されています。
ここでは、CNNの予測行動に関するユニークな洞察を提供し、最も可能性の高い偽クラスに敵のサンプルを誤分類する傾向がある。
CNNを改善するためのクロスエントロピー(CE)損失のドロップイン代替として使用できるロジット制約付き新しい確率コンパクト(PC)損失を提案する。
論文 参考訳(メタデータ) (2020-12-14T16:40:53Z) - Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文 参考訳(メタデータ) (2020-11-18T03:32:27Z) - Defending against substitute model black box adversarial attacks with
the 01 loss [0.0]
代用モデルブラックボックス攻撃に対する防御として,01損失線形と01損失二重層ニューラルネットワークモデルを提案する。
我々の研究は、01損失モデルが代替モデルブラックボックス攻撃に対する強力な防御を提供することを示している。
論文 参考訳(メタデータ) (2020-09-01T22:32:51Z) - Towards adversarial robustness with 01 loss neural networks [0.0]
本稿では,機械学習における敵攻撃に対する防御手段として,畳み込み座標降下を訓練した隠れ層01損失ニューラルネットワークを提案する。
我々は、01損失ネットワークの最小歪みを、二項化ニューラルネットワークと標準シグモノイド活性化ネットワークのクロスエントロピー損失と比較した。
我々の研究は、01損失ネットワークが凸損失や双対ネットワークよりもブラックボックス敵攻撃を防御できる可能性を示唆している。
論文 参考訳(メタデータ) (2020-08-20T18:18:49Z) - Towards Visual Distortion in Black-Box Attacks [68.61251746898323]
ブラックボックス脅威モデルにおける敵の例は、視覚歪みを導入して原画像を傷つける。
そこで本研究では, 逆方向の雑音分布を学習することにより, 直接歪みを最小化できる新しいブラックボックス攻撃手法を提案する。
InceptionV3, ResNet50, VGG16bnでは, 最先端のブラックボックス攻撃と比較して歪みがはるかに小さく, 100%$の成功率を達成した。
論文 参考訳(メタデータ) (2020-07-21T04:42:43Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳(メタデータ) (2020-05-28T02:40:42Z) - DMT: Dynamic Mutual Training for Semi-Supervised Learning [69.17919491907296]
自己学習法は通常、低信頼の擬似ラベルをフィルタリングするために単一のモデル予測の信頼性に依存する。
動的相互学習と呼ばれる動的に再重み付けされた損失関数を用いて、2つの異なるモデル間の相互学習を提案する。
実験の結果,DMTは画像分類とセマンティックセグメンテーションの両方において最先端の性能を実現することがわかった。
論文 参考訳(メタデータ) (2020-04-18T03:12:55Z) - Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。
ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
論文 参考訳(メタデータ) (2020-03-24T03:59:26Z) - Robust binary classification with the 01 loss [0.0]
線形01損失と1つの隠蔽層01損失ニューラルネットワークの座標降下アルゴリズムを開発した。
本稿では,線形サポートベクトルマシンとロジスティックロス単一隠蔽層ネットワークとを高速かつ精度良く比較した。
論文 参考訳(メタデータ) (2020-02-09T20:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。