論文の概要: Training Private Models That Know What They Don't Know

• arxiv url: http://arxiv.org/abs/2305.18393v1
• Date: Sun, 28 May 2023 12:20:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 21:42:57.863539
• Title: Training Private Models That Know What They Don't Know
• Title（参考訳）: 知らないことを知っているプライベートなモデルを訓練する
• Authors: Stephan Rabanser, Anvith Thudi, Abhradeep Thakurta, Krishnamurthy Dvijotham, Nicolas Papernot
• Abstract要約: いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。 モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
• 参考スコア（独自算出の注目度）: 40.19666295972155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training reliable deep learning models which avoid making overconfident but incorrect predictions is a longstanding challenge. This challenge is further exacerbated when learning has to be differentially private: protection provided to sensitive data comes at the price of injecting additional randomness into the learning process. In this work, we conduct a thorough empirical investigation of selective classifiers -- that can abstain when they are unsure -- under a differential privacy constraint. We find that several popular selective prediction approaches are ineffective in a differentially private setting as they increase the risk of privacy leakage. At the same time, we identify that a recent approach that only uses checkpoints produced by an off-the-shelf private learning algorithm stands out as particularly suitable under DP. Further, we show that differential privacy does not just harm utility but also degrades selective classification performance. To analyze this effect across privacy levels, we propose a novel evaluation mechanism which isolate selective prediction performance across model utility levels. Our experimental results show that recovering the performance level attainable by non-private models is possible but comes at a considerable coverage cost as the privacy budget decreases.
• Abstract（参考訳）: 自信過剰だが誤った予測を避けるための、信頼できるディープラーニングモデルのトレーニングは、長年の課題である。 センシティブなデータに提供される保護は、学習プロセスに付加的なランダムさを注入するコストでもたらされます。 本研究では、差分プライバシー制約の下で、選択型分類器(不確実性のある場合に排除できる)を徹底的に調査する。 プライバシリークのリスクを増大させるため、いくつかの一般的な選択予測アプローチは、差分プライベート環境では効果がないことがわかった。 同時に,市販のプライベート学習アルゴリズムが生成するチェックポイントのみを使用する最近のアプローチが,dp下では特に適していることを示す。 さらに、差分プライバシーは実用性を損なうだけでなく、選択分類性能を低下させることを示した。 プライバシレベルにまたがるこの効果を分析するために,モデルユーティリティレベルにまたがる選択的予測性能を分離する新しい評価機構を提案する。 実験の結果,プライバシ予算の減少に伴い,非プライベートモデルで達成可能な性能レベルを回復することは可能であるが,かなりのカバレッジコストが伴うことがわかった。

関連論文リスト

• Causal Inference with Differentially Private (Clustered) Outcomes [16.166525280886578]
  ランダム化実験から因果効果を推定することは、参加者が反応を明らかにすることに同意すれば実現可能である。 我々は,任意のクラスタ構造を利用する新たな差分プライバシメカニズムであるCluster-DPを提案する。 クラスタの品質を直感的に測定することで,プライバシ保証を維持しながら分散損失を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-08-02T05:51:57Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• On the Statistical Complexity of Estimation and Testing under Privacy Constraints [17.04261371990489]
  差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。 プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。 最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
  論文  参考訳（メタデータ） (2022-10-05T12:55:53Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
  監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。 このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
  論文  参考訳（メタデータ） (2022-02-24T17:31:08Z)
• Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning [0.0]
  本稿では,ディファレンシャルプライバシ(DP)によるトレーニングが,幅広い敵対攻撃に対するモデル脆弱性に与える影響を実験的に評価する。 結果から、プライベートモデルは非プライベートモデルよりも堅牢ではなく、非プライベートモデルとプライベートモデルよりもDPモデル間のトランスファーが優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-05-17T16:10:54Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Chasing Your Long Tails: Differentially Private Prediction in Health Care Settings [34.26542589537452]
  差分プライベート(DP)学習の方法は、プライバシ保証付きモデルを学習するための汎用的なアプローチを提供する。 DP学習の現代的な手法は、情報に過度にユニークなと判断される情報を検閲するメカニズムを通じて、プライバシーを確保する。 我々はDP学習に最先端の手法を用いて,臨床予測タスクにおけるプライバシ保護モデルを訓練する。
  論文  参考訳（メタデータ） (2020-10-13T19:56:37Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。