論文の概要: Pre-trained Encoders in Self-Supervised Learning Improve Secure and
Privacy-preserving Supervised Learning
- arxiv url: http://arxiv.org/abs/2212.03334v1
- Date: Tue, 6 Dec 2022 21:35:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 15:49:47.924831
- Title: Pre-trained Encoders in Self-Supervised Learning Improve Secure and
Privacy-preserving Supervised Learning
- Title(参考訳): 自己指導型学習における事前学習エンコーダの安全性向上とプライバシ保護型学習支援
- Authors: Hongbin Liu, Wenjie Qu, Jinyuan Jia, Neil Zhenqiang Gong
- Abstract要約: 自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。
我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
- 参考スコア(独自算出の注目度): 63.45532264721498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classifiers in supervised learning have various security and privacy issues,
e.g., 1) data poisoning attacks, backdoor attacks, and adversarial examples on
the security side as well as 2) inference attacks and the right to be forgotten
for the training data on the privacy side. Various secure and
privacy-preserving supervised learning algorithms with formal guarantees have
been proposed to address these issues. However, they suffer from various
limitations such as accuracy loss, small certified security guarantees, and/or
inefficiency. Self-supervised learning is an emerging technique to pre-train
encoders using unlabeled data. Given a pre-trained encoder as a feature
extractor, supervised learning can train a simple yet accurate classifier using
a small amount of labeled training data. In this work, we perform the first
systematic, principled measurement study to understand whether and when a
pre-trained encoder can address the limitations of secure or privacy-preserving
supervised learning algorithms. Our key findings are that a pre-trained encoder
substantially improves 1) both accuracy under no attacks and certified security
guarantees against data poisoning and backdoor attacks of state-of-the-art
secure learning algorithms (i.e., bagging and KNN), 2) certified security
guarantees of randomized smoothing against adversarial examples without
sacrificing its accuracy under no attacks, 3) accuracy of differentially
private classifiers, and 4) accuracy and/or efficiency of exact machine
unlearning.
- Abstract(参考訳): 教師あり学習における分類器には、様々なセキュリティやプライバシーの問題がある。
1)セキュリティ側のデータ中毒攻撃、バックドア攻撃、悪意のある例
2) プライバシ側のトレーニングデータに対する推論攻撃と, 忘れられる権利。
これらの問題に対処するために、正式な保証付き安全でプライバシー保護の学習アルゴリズムが提案されている。
しかし、精度の低下、小さな認証されたセキュリティ保証、そして/または非効率といった様々な制限に悩まされている。
自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。
事前訓練されたエンコーダを特徴抽出器として与えると、教師付き学習は少量のラベル付きトレーニングデータを用いて、単純で正確な分類器を訓練することができる。
本研究では,事前学習したエンコーダが,セキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための,最初の系統的,原則的測定研究を行う。
我々の重要な発見は、事前訓練されたエンコーダが大幅に改善することである。
1)最先端のセキュア学習アルゴリズム(袋詰めおよびkn)のデータ中毒およびバックドア攻撃に対する認証セキュリティ保証と無攻撃の精度の両立
2)無攻撃下での正確性を犠牲にすることなく,敵例に対するランダム化平滑化の認定セキュリティ保証。
3)個人別分類器の精度、及び
4) 正確なマシンアンラーニングの精度及び/又は効率。
関連論文リスト
- Robust Federated Learning Mitigates Client-side Training Data
Distribution Inference Attacks [53.210725411547806]
InferGuardは、クライアント側のトレーニングデータ分散推論攻撃に対する防御を目的とした、新しいビザンチン・ロバスト集約ルールである。
実験の結果,我々の防衛機構はクライアント側のトレーニングデータ分布推定攻撃に対する防御に極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T17:41:35Z) - Roulette: A Semantic Privacy-Preserving Device-Edge Collaborative
Inference Framework for Deep Learning Classification Tasks [21.05961694765183]
Rouletteは、ディープラーニング分類器のためのタスク指向のセマンティックプライバシ保存協調推論フレームワークである。
我々は,バックエンドを凍結し,フロントエンドを特徴抽出器と暗号化器の両方に再訓練する,分割学習の新たなパラダイムを開発する。
論文 参考訳(メタデータ) (2023-09-06T08:08:12Z) - Limits of Machine Learning for Automatic Vulnerability Detection [0.0]
自動脆弱性検出のための機械学習の最近の成果は非常に有望である。
しかし、これらの結果が一般的なものであり、データセットに特有でないことをどうやって知るのか?
トレーニングセットまたはテストセットの増幅中に意味保存変換を適用するクロスバリデーションアルゴリズムを提案する。
改善されたロバスト性は、トレーニングデータ増幅時に使用される特定の変換にのみ適用される。
論文 参考訳(メタデータ) (2023-06-28T08:41:39Z) - Towards an Accurate and Secure Detector against Adversarial
Perturbations [58.02078078305753]
敵の摂動に対するディープニューラルネットワークの脆弱性は、コンピュータビジョンコミュニティで広く認識されている。
現在のアルゴリズムは、通常、自然・人工データの識別的分解を通じて、敵対的なパターンを検出する。
本研究では,秘密鍵を用いた空間周波数判別分解に基づく,高精度かつセキュアな対向検波器を提案する。
論文 参考訳(メタデータ) (2023-05-18T10:18:59Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳(メタデータ) (2023-02-15T21:40:33Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T07:53:50Z) - One Parameter Defense -- Defending against Data Inference Attacks via
Differential Privacy [26.000487178636927]
機械学習モデルは、メンバシップ推論やモデル反転攻撃のようなデータ推論攻撃に弱い。
既存の防衛方法は、メンバーシップ推論攻撃からのみ保護する。
両攻撃を時間効率で処理する差分プライベートディフェンス法を提案する。
論文 参考訳(メタデータ) (2022-03-13T06:06:24Z) - On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。
本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文 参考訳(メタデータ) (2021-02-11T15:09:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。