論文の概要: Robust binary classification with the 01 loss
- arxiv url: http://arxiv.org/abs/2002.03444v1
- Date: Sun, 9 Feb 2020 20:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 14:28:07.512335
- Title: Robust binary classification with the 01 loss
- Title（参考訳）: 01損失を伴うロバスト二項分類
- Authors: Yunzhe Xue, Meiyan Xie, Usman Roshan
- Abstract要約: 線形01損失と1つの隠蔽層01損失ニューラルネットワークの座標降下アルゴリズムを開発した。
本稿では,線形サポートベクトルマシンとロジスティックロス単一隠蔽層ネットワークとを高速かつ精度良く比較した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The 01 loss is robust to outliers and tolerant to noisy data compared to
convex loss functions. We conjecture that the 01 loss may also be more robust
to adversarial attacks. To study this empirically we have developed a
stochastic coordinate descent algorithm for a linear 01 loss classifier and a
single hidden layer 01 loss neural network. Due to the absence of the gradient
we iteratively update coordinates on random subsets of the data for fixed
epochs. We show our algorithms to be fast and comparable in accuracy to the
linear support vector machine and logistic loss single hidden layer network for
binary classification on several image benchmarks, thus establishing that our
method is on-par in test accuracy with convex losses. We then subject them to
accurately trained substitute model black box attacks on the same image
benchmarks and find them to be more robust than convex counterparts. On CIFAR10
binary classification task between classes 0 and 1 with adversarial
perturbation of 0.0625 we see that the MLP01 network loses 27\% in accuracy
whereas the MLP-logistic counterpart loses 83\%. Similarly on STL10 and
ImageNet binary classification between classes 0 and 1 the MLP01 network loses
21\% and 20\% while MLP-logistic loses 67\% and 45\% respectively. On MNIST
that is a well-separable dataset we find MLP01 comparable to MLP-logistic and
show under simulation how and why our 01 loss solver is less robust there. We
then propose adversarial training for our linear 01 loss solver that
significantly improves its robustness on MNIST and all other datasets and
retains clean test accuracy. Finally we show practical applications of our
method to deter traffic sign and facial recognition adversarial attacks. We
discuss attacks with 01 loss, substitute model accuracy, and several future
avenues like multiclass, 01 loss convolutions, and further adversarial
training.
- Abstract（参考訳）: 01損失は、対流損失関数と比較して、外れ値に頑健であり、ノイズデータに耐性がある。
我々は、01の損失は敵の攻撃に対してより堅牢であるかもしれないと推測する。
そこで本研究では,線形01損失分類器と単一隠れ層01損失ニューラルネットワークのための確率的座標降下アルゴリズムを開発した。
勾配が存在しないため、固定エポックに対するデータのランダムな部分集合の座標を反復的に更新する。
提案手法は,複数の画像ベンチマークにおいて,線形支持ベクトルマシンとロジスティック損失単一隠蔽層ネットワークとを高速かつ精度良く比較し,凸損失を伴うテスト精度が十分であることを示す。
次に、同じ画像ベンチマークに対して、正確に訓練された代用モデルブラックボックス攻撃を施し、凸型モデルよりも堅牢であることを示す。
CIFAR10 のクラス 0 と 1 のバイナリ分類タスクでは、逆摂動 0.0625 であり、MLP01 のネットワークは精度が 27 % 、MLP は 83 % である。
同様に、STL10 と ImageNet のクラス 0 と 1 のバイナリ分類では、MLP01 ネットワークは 21 % と 20 % を失い、MLP-ロジスティックは 67 % と 45 % を失う。
十分に分離可能なデータセットであるMNISTでは、MLP-logisticに匹敵するMLP01を見つけ、シミュレーションの下で、どのように、なぜ我々の01損失解法がより堅牢でないのかを示す。
次に、MNISTや他の全てのデータセットに対するロバスト性を大幅に向上させ、クリーンなテスト精度を維持する線形01損失解法に対する逆トレーニングを提案する。
最後に,トラヒックサインや顔認識による攻撃を防ぐ手法の実用化について述べる。
本稿では, 01損失による攻撃, 代用モデルの精度, および多クラス, 01損失の畳み込み, さらなる敵の訓練など, 今後の課題について論じる。
関連論文リスト
- Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳（メタデータ） (2022-02-27T23:06:31Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳（メタデータ） (2021-10-06T08:45:03Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Defending against substitute model black box adversarial attacks with
the 01 loss [0.0]
代用モデルブラックボックス攻撃に対する防御として,01損失線形と01損失二重層ニューラルネットワークモデルを提案する。
我々の研究は、01損失モデルが代替モデルブラックボックス攻撃に対する強力な防御を提供することを示している。
論文 参考訳（メタデータ） (2020-09-01T22:32:51Z) - Towards adversarial robustness with 01 loss neural networks [0.0]
本稿では,機械学習における敵攻撃に対する防御手段として,畳み込み座標降下を訓練した隠れ層01損失ニューラルネットワークを提案する。
我々は、01損失ネットワークの最小歪みを、二項化ニューラルネットワークと標準シグモノイド活性化ネットワークのクロスエントロピー損失と比較した。
我々の研究は、01損失ネットワークが凸損失や双対ネットワークよりもブラックボックス敵攻撃を防御できる可能性を示唆している。
論文 参考訳（メタデータ） (2020-08-20T18:18:49Z) - On the transferability of adversarial examples between convex and 01
loss models [0.0]
線形01損失と凸(隠れ)損失モデルの間の逆例の転送可能性について検討した。
両層ニューラルネットワークにおいて, 01損失の不連続性により, 敵の移動が不可能になることを示す。
01損失の2層符号活性化ネットワークは,単純な畳み込みネットワークと同程度の堅牢性が得られることを示す。
論文 参考訳（メタデータ） (2020-06-14T04:51:45Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z) - Supervised Contrastive Learning [42.27949000093086]
我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。
教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。
ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
論文 参考訳（メタデータ） (2020-04-23T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。