論文の概要: What Can We Learn from Unlearnable Datasets?

• arxiv url: http://arxiv.org/abs/2305.19254v1
• Date: Tue, 30 May 2023 17:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 14:38:06.607278
• Title: What Can We Learn from Unlearnable Datasets?
• Title（参考訳）: 学習不可能なデータセットから何が学べるか?
• Authors: Pedro Sandoval-Segura, Vasu Singla, Jonas Geiping, Micah Goldblum, Tom Goldstein
• Abstract要約: 学習不可能なデータセットは、ディープニューラルネットワークの一般化を防ぐことによって、データのプライバシを保護する可能性がある。 学習不可能なデータセットでトレーニングされたニューラルネットワークは、一般化には役に立たない単純なルールであるショートカットのみを学ぶと広く信じられている。 対照的に、ネットワークは、高いテストパフォーマンスのために置き換えられる有用な機能を学ぶことができ、画像のプライバシが保存されていないことを示唆している。
• 参考スコア（独自算出の注目度）: 49.43839852966774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In an era of widespread web scraping, unlearnable dataset methods have the potential to protect data privacy by preventing deep neural networks from generalizing. But in addition to a number of practical limitations that make their use unlikely, we make a number of findings that call into question their ability to safeguard data. First, it is widely believed that neural networks trained on unlearnable datasets only learn shortcuts, simpler rules that are not useful for generalization. In contrast, we find that networks actually can learn useful features that can be reweighed for high test performance, suggesting that image privacy is not preserved. Unlearnable datasets are also believed to induce learning shortcuts through linear separability of added perturbations. We provide a counterexample, demonstrating that linear separability of perturbations is not a necessary condition. To emphasize why linearly separable perturbations should not be relied upon, we propose an orthogonal projection attack which allows learning from unlearnable datasets published in ICML 2021 and ICLR 2023. Our proposed attack is significantly less complex than recently proposed techniques.
• Abstract（参考訳）: 広範なWebスクレイピングの時代、未学習のデータセットメソッドは、ディープニューラルネットワークの一般化を防ぎ、データのプライバシを保護する可能性がある。 しかし、それらの利用を危うくする多くの実用的な制限に加えて、データを保護する能力に疑問を投げかける多くの発見を行ないました。 まず、学習不可能なデータセットでトレーニングされたニューラルネットワークはショートカットのみを学ぶと広く信じられている。 対照的に、ネットワークは、高いテストパフォーマンスのために強化できる有用な機能を学ぶことができ、イメージプライバシが保存されていないことを示唆している。 学習不能なデータセットは、追加の摂動の線形分離性を通じて学習ショートカットを誘導すると考えられている。 摂動の線形分離性は必要条件ではないことを示す反例を提供する。 線形分離可能な摂動を頼りにすべきでない理由を強調するため,ICML 2021 と ICLR 2023 で発行された未学習データセットから学習が可能な直交射影攻撃を提案する。 提案手法は, 提案手法に比べてかなり複雑ではない。

関連論文リスト

• Unlearnable 3D Point Clouds: Class-wise Transformation Is All You Need [24.18942067770636]
  未許可ユーザーが2次元画像データのトレーニングを行うのを防ぐために、学習不可能な戦略が提案されている。 2つのプロセスを含む3Dポイントクラウドのための最初の統合不可能なフレームワークを提案する。 理論的および実証的な結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-04T17:49:32Z)
• Nonlinear Transformations Against Unlearnable Datasets [4.876873339297269]
  自動スクラップは、データ所有者の許可なしにディープラーニングモデルのデータを収集する一般的な方法として際立っている。 近年,このデータ収集手法に関するプライバシー問題に取り組み始めている。 学習不可能(unlearnable)な例と呼ばれるこれらのアプローチによって生成されたデータは、ディープラーニングモデルによって"学習"される。
  論文  参考訳（メタデータ） (2024-06-05T03:00:47Z)
• Ungeneralizable Examples [70.76487163068109]
  学習不能なデータを作成するための現在のアプローチには、小さくて特殊なノイズが組み込まれている。 学習不能データの概念を条件付きデータ学習に拡張し、textbfUntextbf Generalizable textbfExamples (UGEs)を導入する。 UGEは認証されたユーザに対して学習性を示しながら、潜在的なハッカーに対する非学習性を維持している。
  論文  参考訳（メタデータ） (2024-04-22T09:29:14Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
  このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
  論文  参考訳（メタデータ） (2021-09-06T21:31:42Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors [5.5586788751870175]
  我々は,高次元データの性質を簡潔に捉えるために,深層学習に疎結合を取り入れることに重点を置いている。 低ランクおよびスパース先行値を用いたバックグラウンドサブトラクションのための教師なしU-Net学習を実演する。
  論文  参考訳（メタデータ） (2021-06-21T08:41:02Z)
• Over-parametrized neural networks as under-determined linear systems [31.69089186688224]
  単純なニューラルネットワークがトレーニング損失をゼロにできるのは当然のことだ。 ReLUアクティベーション関数に典型的に関連付けられたカーネルには、根本的な欠陥があることが示される。 本稿では,ReLUの落とし穴を避けるための新たなアクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2020-10-29T21:43:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。