論文の概要: Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning

• arxiv url: http://arxiv.org/abs/2212.03334v1
• Date: Tue, 6 Dec 2022 21:35:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 15:49:47.924831
• Title: Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning
• Title（参考訳）: 自己指導型学習における事前学習エンコーダの安全性向上とプライバシ保護型学習支援
• Authors: Hongbin Liu, Wenjie Qu, Jinyuan Jia, Neil Zhenqiang Gong
• Abstract要約: 自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
• 参考スコア（独自算出の注目度）: 63.45532264721498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifiers in supervised learning have various security and privacy issues, e.g., 1) data poisoning attacks, backdoor attacks, and adversarial examples on the security side as well as 2) inference attacks and the right to be forgotten for the training data on the privacy side. Various secure and privacy-preserving supervised learning algorithms with formal guarantees have been proposed to address these issues. However, they suffer from various limitations such as accuracy loss, small certified security guarantees, and/or inefficiency. Self-supervised learning is an emerging technique to pre-train encoders using unlabeled data. Given a pre-trained encoder as a feature extractor, supervised learning can train a simple yet accurate classifier using a small amount of labeled training data. In this work, we perform the first systematic, principled measurement study to understand whether and when a pre-trained encoder can address the limitations of secure or privacy-preserving supervised learning algorithms. Our key findings are that a pre-trained encoder substantially improves 1) both accuracy under no attacks and certified security guarantees against data poisoning and backdoor attacks of state-of-the-art secure learning algorithms (i.e., bagging and KNN), 2) certified security guarantees of randomized smoothing against adversarial examples without sacrificing its accuracy under no attacks, 3) accuracy of differentially private classifiers, and 4) accuracy and/or efficiency of exact machine unlearning.
• Abstract（参考訳）: 教師あり学習における分類器には、様々なセキュリティやプライバシーの問題がある。 1)セキュリティ側のデータ中毒攻撃、バックドア攻撃、悪意のある例 2) プライバシ側のトレーニングデータに対する推論攻撃と, 忘れられる権利。 これらの問題に対処するために、正式な保証付き安全でプライバシー保護の学習アルゴリズムが提案されている。 しかし、精度の低下、小さな認証されたセキュリティ保証、そして/または非効率といった様々な制限に悩まされている。 自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 事前訓練されたエンコーダを特徴抽出器として与えると、教師付き学習は少量のラベル付きトレーニングデータを用いて、単純で正確な分類器を訓練することができる。 本研究では,事前学習したエンコーダが,セキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための,最初の系統的,原則的測定研究を行う。 我々の重要な発見は、事前訓練されたエンコーダが大幅に改善することである。 1)最先端のセキュア学習アルゴリズム(袋詰めおよびkn)のデータ中毒およびバックドア攻撃に対する認証セキュリティ保証と無攻撃の精度の両立 2)無攻撃下での正確性を犠牲にすることなく,敵例に対するランダム化平滑化の認定セキュリティ保証。 3)個人別分類器の精度、及び 4) 正確なマシンアンラーニングの精度及び/又は効率。

関連論文リスト

• HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption [4.164336621664897]
  HETALは、効率的な同型暗号化に基づく転送学習アルゴリズムである。 本稿では,従来の手法よりも1.8～323倍高速な暗号化行列乗算アルゴリズムを提案する。 実験では、合計訓練時間は567-3442秒であり、1時間未満である。
  論文  参考訳（メタデータ） (2024-03-21T03:47:26Z)
• Roulette: A Semantic Privacy-Preserving Device-Edge Collaborative Inference Framework for Deep Learning Classification Tasks [21.05961694765183]
  Rouletteは、ディープラーニング分類器のためのタスク指向のセマンティックプライバシ保存協調推論フレームワークである。 我々は,バックエンドを凍結し,フロントエンドを特徴抽出器と暗号化器の両方に再訓練する,分割学習の新たなパラダイムを開発する。
  論文  参考訳（メタデータ） (2023-09-06T08:08:12Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
  トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
  論文  参考訳（メタデータ） (2022-03-31T18:06:28Z)
• Robust Unlearnable Examples: Protecting Data Against Adversarial Learning [77.6015932710068]
  本稿では,誤り最小化ノイズを付加することにより,ディープラーニングモデルにデータを学習不能にすることを提案する。 本稿では,敵の訓練から保護される頑健な学習不可能な事例を生成するための新しい手法を設計する。 実験により, 強靭な誤り最小化ノイズによる難読性は, 種々のシナリオにおいて, 敵の訓練からデータを効果的に保護できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-28T07:13:51Z)
• One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy [26.000487178636927]
  機械学習モデルは、メンバシップ推論やモデル反転攻撃のようなデータ推論攻撃に弱い。 既存の防衛方法は、メンバーシップ推論攻撃からのみ保護する。 両攻撃を時間効率で処理する差分プライベートディフェンス法を提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:06:24Z)
• On Deep Learning with Label Differential Privacy [54.45348348861426]
  ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
  論文  参考訳（メタデータ） (2021-02-11T15:09:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。