論文の概要: Provably Unlearnable Examples
- arxiv url: http://arxiv.org/abs/2405.03316v1
- Date: Mon, 6 May 2024 09:48:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 14:15:50.984346
- Title: Provably Unlearnable Examples
- Title（参考訳）: あり得ない例
- Authors: Derui Wang, Minhui Xue, Bo Li, Seyit Camtepe, Liming Zhu,
- Abstract要約: 原文(投稿日:2012/09/19)へのリンク 未許可のモデルでは、共有データを学習不能にするための努力が続けられている。
本稿では、学習不能データセットのいわゆる$(q, eta)$-Learnabilityを認証するためのメカニズムを提案する。
認証の低い$(q, eta)$-Learnabilityは、データセットに対するより堅牢な保護を示している。
- 参考スコア（独自算出の注目度）: 27.24152626809928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The exploitation of publicly accessible data has led to escalating concerns regarding data privacy and intellectual property (IP) breaches in the age of artificial intelligence. As a strategy to safeguard both data privacy and IP-related domain knowledge, efforts have been undertaken to render shared data unlearnable for unauthorized models in the wild. Existing methods apply empirically optimized perturbations to the data in the hope of disrupting the correlation between the inputs and the corresponding labels such that the data samples are converted into Unlearnable Examples (UEs). Nevertheless, the absence of mechanisms that can verify how robust the UEs are against unknown unauthorized models and train-time techniques engenders several problems. First, the empirically optimized perturbations may suffer from the problem of cross-model generalization, which echoes the fact that the unauthorized models are usually unknown to the defender. Second, UEs can be mitigated by train-time techniques such as data augmentation and adversarial training. Furthermore, we find that a simple recovery attack can restore the clean-task performance of the classifiers trained on UEs by slightly perturbing the learned weights. To mitigate the aforementioned problems, in this paper, we propose a mechanism for certifying the so-called $(q, \eta)$-Learnability of an unlearnable dataset via parametric smoothing. A lower certified $(q, \eta)$-Learnability indicates a more robust protection over the dataset. Finally, we try to 1) improve the tightness of certified $(q, \eta)$-Learnability and 2) design Provably Unlearnable Examples (PUEs) which have reduced $(q, \eta)$-Learnability. According to experimental results, PUEs demonstrate both decreased certified $(q, \eta)$-Learnability and enhanced empirical robustness compared to existing UEs.
- Abstract（参考訳）: 公開データの利用は、人工知能時代のデータプライバシと知的財産権侵害(IP)に関する懸念をエスカレートさせた。
データプライバシとIP関連のドメイン知識の両方を保護する戦略として、未許可のモデルにおいて、共有データを学習不能にレンダリングする取り組みが行われている。
既存の方法は、入力と対応するラベルの相関を乱すことを期待して、データに経験的に最適化された摂動を適用し、データサンプルを非学習可能な例(UE)に変換する。
それでも、UEが未知の未承認モデルに対してどれほど堅牢かを検証するメカニズムが存在しないことや、列車時のテクニックがいくつかの問題を引き起こしている。
まず、経験的に最適化された摂動は、クロスモデル一般化の問題に悩まされる可能性がある。
第2に、UEはデータ強化や対向訓練といった列車時のテクニックによって緩和することができる。
さらに、簡単なリカバリ攻撃により、学習した重みをわずかに摂動させることで、UEで訓練された分類器のクリーンタスク性能を回復できることがわかった。
本稿では、上記の問題を緩和するため、パラメトリックスムーシングにより、いわゆる$(q, \eta)$-Learnabilityを証明するためのメカニズムを提案する。
認証の低い$(q, \eta)$-Learnabilityは、データセットに対するより堅牢な保護を示している。
最後に、私たちは
1)証明された$(q, \eta)$-Learnabilityの厳格性の改善。
2 Design Provably Unlearnable Examples (PUEs) which has reduce $(q, \eta)$-Learnability。
実験結果によると、PUEは既存のUEと比較して、証明された$(q, \eta)$-Learnabilityと拡張された経験的堅牢性の両方を示している。
関連論文リスト
- Nonlinear Transformations Against Unlearnable Datasets [4.876873339297269]
自動スクラップは、データ所有者の許可なしにディープラーニングモデルのデータを収集する一般的な方法として際立っている。
近年,このデータ収集手法に関するプライバシー問題に取り組み始めている。
学習不可能(unlearnable)な例と呼ばれるこれらのアプローチによって生成されたデータは、ディープラーニングモデルによって"学習"される。
論文 参考訳（メタデータ） (2024-06-05T03:00:47Z) - Efficient Availability Attacks against Supervised and Contrastive
Learning Simultaneously [26.018467038778006]
本稿では、SLとCLの両方に有効な攻撃を得るために、教師付きエラー最小化やフレームワークにおける対照的なデータ拡張を提案する。
提案したAUE攻撃とAAP攻撃は,SLアルゴリズムとCLアルゴリズムにまたがる最先端の非学習性を実現し,消費電力を低減し,現実の応用の可能性を示す。
論文 参考訳（メタデータ） (2024-02-06T14:05:05Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。
我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-05-12T05:08:10Z) - Byzantine-Robust Federated Learning via Credibility Assessment on
Non-IID Data [1.4146420810689422]
フェデレートラーニング(Federated Learning)は、リソース制約のあるエッジデバイスがモデルの共同学習を可能にする、新しいフレームワークである。
標準的な連邦学習はビザンツの攻撃に弱い。
非イドデータに対する信頼度評価によるフェデレーション学習のためのビザンチン・ロバストフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-06T12:18:02Z) - Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。
破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
論文 参考訳（メタデータ） (2021-01-14T21:54:55Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。