論文の概要: In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning

• arxiv url: http://arxiv.org/abs/2209.10732v1
• Date: Thu, 22 Sep 2022 02:07:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 14:36:57.102959
• Title: In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
• Title（参考訳）: 差別的なプライバシには真実がある - プライベートラーニングにおける投票漏洩について
• Authors: Jiaqi Wang, Roei Schuster, Ilia Shumailov, David Lie, Nicolas Papernot
• Abstract要約: 本研究では,PATE予測を行うノイズを用いることで,機密情報の漏洩の新たな形態を実現できることを示す。 我々の敵は、この事実を利用して、基礎となる教師が提出した投票の高忠実度ヒストグラムを抽出する。 これは、差別的なプライバシーをパナセアとして扱うのではなく、プライバシーを公平に考慮する将来の作業を促進することを願っている。
• 参考スコア（独自算出の注目度）: 42.34839009553982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When learning from sensitive data, care must be taken to ensure that training algorithms address privacy concerns. The canonical Private Aggregation of Teacher Ensembles, or PATE, computes output labels by aggregating the predictions of a (possibly distributed) collection of teacher models via a voting mechanism. The mechanism adds noise to attain a differential privacy guarantee with respect to the teachers' training data. In this work, we observe that this use of noise, which makes PATE predictions stochastic, enables new forms of leakage of sensitive information. For a given input, our adversary exploits this stochasticity to extract high-fidelity histograms of the votes submitted by the underlying teachers. From these histograms, the adversary can learn sensitive attributes of the input such as race, gender, or age. Although this attack does not directly violate the differential privacy guarantee, it clearly violates privacy norms and expectations, and would not be possible at all without the noise inserted to obtain differential privacy. In fact, counter-intuitively, the attack becomes easier as we add more noise to provide stronger differential privacy. We hope this encourages future work to consider privacy holistically rather than treat differential privacy as a panacea.
• Abstract（参考訳）: 機密データから学ぶ場合、トレーニングアルゴリズムがプライバシの懸念に対処するように注意する必要がある。 PATE(Panonical Private Aggregation of Teacher Ensembles)は、投票機構を介して教師モデルの(おそらく分散した)コレクションの予測を集約することにより、出力ラベルを算出する。 このメカニズムは、教師のトレーニングデータに関して、差分プライバシーを保証するためにノイズを追加する。 本研究では、PATE予測を確率的にするこのノイズの使用により、機密情報の新たな漏洩が可能となることを観察する。 この確率性を利用して、教師が提出した投票の高忠実度ヒストグラムを抽出する。 これらのヒストグラムから、相手は人種、性別、年齢などの入力の繊細な属性を学習することができる。 この攻撃は、差分プライバシーの保証に直接違反するわけではないが、明らかにプライバシーの規範と期待に反し、差分プライバシーを得るために挿入されるノイズなしでは不可能である。 実際、矛盾するプライバシーを提供するためにノイズが増えると、この攻撃はより簡単になります。 これは、差別的なプライバシーをパナセアとして扱うのではなく、プライバシーを公平に考慮する将来の作業を促進することを願っている。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Privacy-Preserving Student Learning with Differentially Private Data-Free Distillation [35.37005050907983]
  プライバシーを保護したディープラーニングモデルを学習するための効果的な教師学生学習手法を提案する。 データプライバシを公開することなく、モデルトレーニングのために大量の合成データを生成することができる。 学生は、プライベートレーベルの監督の下で、合成データに基づいて訓練される。
  論文  参考訳（メタデータ） (2024-09-19T01:00:18Z)
• Training Private Models That Know What They Don't Know [40.19666295972155]
  いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。 モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
  論文  参考訳（メタデータ） (2023-05-28T12:20:07Z)
• Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
  大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
  論文  参考訳（メタデータ） (2022-12-13T10:41:12Z)
• Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
  フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。 我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。 数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-16T09:58:03Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• Differentially private cross-silo federated learning [16.38610531397378]
  厳密なプライバシは、分散機械学習において最重要事項である。 本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。 提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:15:10Z)
• Private Knowledge Transfer via Model Distillation with Generative Adversarial Networks [7.0202040971648705]
  従来のディープラーニングモデルは、個人の機密情報を回復するプライバシー攻撃の傾向にある。 近年、プライバシー保証を提供する差分プライバシが提案され、トレーニングデータを保護するために、プライバシに制限された方法でニューラルネットワークをトレーニングしている。 そこで我々は,機密データに基づいて訓練された個人教師が一般に公開されていないが,学生に公開教育を施す,新たな私的知識伝達戦略を提案する。
  論文  参考訳（メタデータ） (2020-04-05T12:55:01Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。