論文の概要: On adversarial training and the 1 Nearest Neighbor classifier

• arxiv url: http://arxiv.org/abs/2404.06313v2
• Date: Thu, 11 Apr 2024 09:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 17:46:48.914928
• Title: On adversarial training and the 1 Nearest Neighbor classifier
• Title（参考訳）: 敵対的訓練と最近近傍分類器について
• Authors: Amir Hagai, Yair Weiss,
• Abstract要約: 本研究では,1 NNN分類器の対向ロバスト性を解析し,その性能を対向訓練と比較する。 以上の結果から,現代の逆行訓練手法は単純な1NN分類器の頑健さに欠けていたことが示唆された。
• 参考スコア（独自算出の注目度）: 8.248839892711478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to fool deep learning classifiers with tiny perturbations of the input has lead to the development of adversarial training in which the loss with respect to adversarial examples is minimized in addition to the training examples. While adversarial training improves the robustness of the learned classifiers, the procedure is computationally expensive, sensitive to hyperparameters and may still leave the classifier vulnerable to other types of small perturbations. In this paper we analyze the adversarial robustness of the 1 Nearest Neighbor (1NN) classifier and compare its performance to adversarial training. We prove that under reasonable assumptions, the 1 NN classifier will be robust to {\em any} small image perturbation of the training images and will give high adversarial accuracy on test images as the number of training examples goes to infinity. In experiments with 45 different binary image classification problems taken from CIFAR10, we find that 1NN outperform TRADES (a powerful adversarial training algorithm) in terms of average adversarial accuracy. In additional experiments with 69 pretrained robust models for CIFAR10, we find that 1NN outperforms almost all of them in terms of robustness to perturbations that are only slightly different from those seen during training. Taken together, our results suggest that modern adversarial training methods still fall short of the robustness of the simple 1NN classifier. our code can be found at https://github.com/amirhagai/On-Adversarial-Training-And-The-1-Nearest-Neighbor-Classifier
• Abstract（参考訳）: 入力の摂動が小さい深層学習分類器を騙す能力は、学習例に加えて、敵の例に対する損失を最小限に抑える敵の訓練の開発につながる。 逆行訓練は学習した分類器の堅牢性を改善するが、この手順は計算コストが高く、ハイパーパラメータに敏感であり、いまだに他の種類の小さな摂動に弱い分類器を残している可能性がある。 本稿では,1 NNN(Nearest Neighbor)分類器の対向ロバスト性を解析し,その性能を対向トレーニングと比較する。 妥当な仮定の下では、1 NN分類器はトレーニング画像の小さな画像摂動に頑健であり、トレーニング例の数が無限に近づくにつれて、テスト画像に対して高い逆の精度が得られることを証明している。 CIFAR10から抽出した45種類のバイナリ画像分類問題を用いた実験では、平均対角精度で1NNがTRADES(強力な対向訓練アルゴリズム)より優れていた。 CIFAR10のための69の事前訓練されたロバストモデルによる追加実験では、1NNはトレーニング中に見られたモデルとわずかに異なる摂動に対するロバスト性においてほぼすべてのモデルより優れていた。 この結果から, 現代の逆行訓練手法は, 単純な1NN分類器の頑健さに欠けていたことが示唆された。 私たちのコードはhttps://github.com/amirhagai/On-Adversarial-Training-And-The-1-Nearest-Neighbor-Classifierで確認できます。

関連論文リスト

• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Post-Training Overfitting Mitigation in DNN Classifiers [31.513866929577336]
  学習後MMベースの正規化は,クラス不均衡やオーバートレーニングによる非マチュラスなオーバーフィッティングを著しく軽減することを示す。 攻撃に対する弾力性はあるが、クリーン(無攻撃)な一般化を損なう敵の訓練とは異なり、敵の学習に起因したアプローチを実証する。
  論文  参考訳（メタデータ） (2023-09-28T20:16:24Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• KATANA: Simple Post-Training Robustness Using Test Time Augmentations [49.28906786793494]
  このような攻撃に対する先導的な防御は、DNNが敵の攻撃に対して堅牢であるように訓練される技術である敵の訓練である。 そこで本稿では,既存の事前学習型DNNを重みを変更せずに堅牢化する,シンプルで使いやすいKATANA手法を提案する。 我々の戦略は、自然画像の分類に最小限の妥協を伴い、様々な攻撃に対する最先端の敵対的堅牢性を達成する。
  論文  参考訳（メタデータ） (2021-09-16T19:16:00Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。