論文の概要: One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2205.12141v1
• Date: Tue, 24 May 2022 15:17:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 13:18:46.736439
• Title: One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks
• Title（参考訳）: 1ピクセルショートカット:ディープニューラルネットワークの学習嗜好について
• Authors: Shutong Wu, Sizhe Chen, Cihang Xie, Xiaolin Huang
• Abstract要約: Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。 本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
• 参考スコア（独自算出の注目度）: 28.502489028888608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlearnable examples (ULEs) aim to protect data from unauthorized usage for training DNNs. Error-minimizing noise, which is injected to clean data, is one of the most successful methods for preventing DNNs from giving correct predictions on incoming new data. Nonetheless, under specific training strategies such as adversarial training, the unlearnability of error-minimizing noise will severely degrade. In addition, the transferability of error-minimizing noise is inherently limited by the mismatch between the generator model and the targeted learner model. In this paper, we investigate the mechanism of unlearnable examples and propose a novel model-free method, named \emph{One-Pixel Shortcut}, which only perturbs a single pixel of each image and makes the dataset unlearnable. Our method needs much less computational cost and obtains stronger transferability and thus can protect data from a wide range of different models. Based on this, we further introduce the first unlearnable dataset called CIFAR-10-S, which is indistinguishable from normal CIFAR-10 by human observers and can serve as a benchmark for different models or training strategies to evaluate their abilities to extract critical features from the disturbance of non-semantic representations. The original error-minimizing ULEs will lose efficiency under adversarial training, where the model can get over 83\% clean test accuracy. Meanwhile, even if adversarial training and strong data augmentation like RandAugment are applied together, the model trained on CIFAR-10-S cannot get over 50\% clean test accuracy.
• Abstract（参考訳）: Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 クリーンなデータに注入される誤り最小化ノイズは、DNNが新しいデータに正しい予測を与えるのを防ぐ最も成功した方法の1つである。 それでも、敵の訓練のような特定の訓練戦略の下では、誤り最小化ノイズの未発生性は著しく低下する。 さらに, 誤り最小化雑音の伝達性は, 生成モデルと学習者モデルとのミスマッチによって本質的に制限される。 本稿では,未発見の例のメカニズムを調査し,各画像の1画素のみを摂動させ,データセットを無視可能にする,新しいモデルフリーな手法である \emph{one-pixel shortcut} を提案する。 提案手法は計算コストが大幅に削減され,転送性が向上し,多種多様なモデルからデータを保護することができる。 さらに、人間の観察者によって通常のCIFAR-10と区別されず、異なるモデルや訓練戦略のベンチマークとして機能し、非意味表現の乱れから重要な特徴を抽出する能力を評価することができるCIFAR-10-Sと呼ばれる最初の学習不可能データセットについても紹介する。 オリジナルのエラー最小化ULEは、モデルが83%以上クリーンなテスト精度が得られる敵の訓練で効率が低下する。 一方,adversarial training と randaugment のような強力なデータ拡張が一緒に適用されたとしても,cifar-10-s でトレーニングされたモデルは,50% 以上のクリーンなテスト精度を得ることはできない。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Nonlinear Transformations Against Unlearnable Datasets [4.876873339297269]
  自動スクラップは、データ所有者の許可なしにディープラーニングモデルのデータを収集する一般的な方法として際立っている。 近年,このデータ収集手法に関するプライバシー問題に取り組み始めている。 学習不可能(unlearnable)な例と呼ばれるこれらのアプローチによって生成されたデータは、ディープラーニングモデルによって"学習"される。
  論文  参考訳（メタデータ） (2024-06-05T03:00:47Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
  ディープモデルは敵の攻撃に非常に敏感である。 プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。 我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
  論文  参考訳（メタデータ） (2022-04-04T15:16:13Z)
• Robust Unlearnable Examples: Protecting Data Against Adversarial Learning [77.6015932710068]
  本稿では,誤り最小化ノイズを付加することにより,ディープラーニングモデルにデータを学習不能にすることを提案する。 本稿では,敵の訓練から保護される頑健な学習不可能な事例を生成するための新しい手法を設計する。 実験により, 強靭な誤り最小化ノイズによる難読性は, 種々のシナリオにおいて, 敵の訓練からデータを効果的に保護できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-28T07:13:51Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
  余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。 自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。 CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
  論文  参考訳（メタデータ） (2020-02-24T15:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。