論文の概要: Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning

• arxiv url: http://arxiv.org/abs/2209.07716v1
• Date: Fri, 16 Sep 2022 04:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 13:33:48.478068
• Title: Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning
• Title（参考訳）: Propose-Test-ReleaseのRenyi差分プライバシーとプライベートおよびロバスト機械学習への応用
• Authors: Jiachen T. Wang, Saeed Mahloujifar, Shouda Wang, Ruoxi Jia, Prateek Mittal
• Abstract要約: Propose-Test-Release(PTR)は、関数の局所的な感度で動作する、グローバルな感度ではなく、差分プライバシーフレームワークである。 我々はPTRと理論結果を用いて、ビザンチン頑健なトレーニングアルゴリズムのための微分プライベートな変種を設計できることを示す。
• 参考スコア（独自算出の注目度）: 34.091112544190125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Propose-Test-Release (PTR) is a differential privacy framework that works with local sensitivity of functions, instead of their global sensitivity. This framework is typically used for releasing robust statistics such as median or trimmed mean in a differentially private manner. While PTR is a common framework introduced over a decade ago, using it in applications such as robust SGD where we need many adaptive robust queries is challenging. This is mainly due to the lack of Renyi Differential Privacy (RDP) analysis, an essential ingredient underlying the moments accountant approach for differentially private deep learning. In this work, we generalize the standard PTR and derive the first RDP bound for it when the target function has bounded global sensitivity. We show that our RDP bound for PTR yields tighter DP guarantees than the directly analyzed $(\eps, \delta)$-DP. We also derive the algorithm-specific privacy amplification bound of PTR under subsampling. We show that our bound is much tighter than the general upper bound and close to the lower bound. Our RDP bounds enable tighter privacy loss calculation for the composition of many adaptive runs of PTR. As an application of our analysis, we show that PTR and our theoretical results can be used to design differentially private variants for byzantine robust training algorithms that use robust statistics for gradients aggregation. We conduct experiments on the settings of label, feature, and gradient corruption across different datasets and architectures. We show that PTR-based private and robust training algorithm significantly improves the utility compared with the baseline.
• Abstract（参考訳）: Propose-Test-Release(PTR)は、関数の局所的な感度で動作する、グローバルな感度ではなく、差分プライバシーフレームワークである。 このフレームワークは、通常、中央値やトリミング平均のようなロバストな統計を微分的にプライベートにリリースするのに使用される。 PTRは10年以上前に導入された一般的なフレームワークですが、ロバストなSGDのようなアプリケーションで使用するには、適応的なロバストなクエリがたくさんあります。 これは主にrenyi differential privacy (rdp)分析の欠如によるもので、moments accountantアプローチの基礎となる要素である。 本研究では,標準PTRを一般化し,対象関数が大域感度で有界なときの最初の RDP を導出する。 PTR の RDP が直接解析された $(\eps, \delta)$-DP よりも厳密な DP を保証することを示す。 また,サブサンプリング下でのPTRのアルゴリズム固有のプライバシアンプリフィケーションバウンドを導出する。 我々は、我々の境界が一般の上界よりもはるかに強く、下界に近いことを示す。 我々のRDPバウンダリは、多くの適応型PTRの構成に対して、より厳密なプライバシー損失計算を可能にする。 解析の応用として、PTRと理論結果を用いて、勾配集計に頑健な統計を用いるビザンチン頑健なトレーニングアルゴリズムのための微分プライベートな変種を設計できることを示す。 さまざまなデータセットやアーキテクチャにまたがるラベル,特徴,勾配といった設定に関する実験を行います。 PTRに基づくプライベートかつロバストなトレーニングアルゴリズムは,ベースラインと比較して実用性を大幅に向上することを示す。

関連論文リスト

• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Privacy Profiles for Private Selection [21.162924003105484]
  私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。 このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
  論文  参考訳（メタデータ） (2024-02-09T08:31:46Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy [16.374676154278614]
  「PTR」(Propose-Test-Release)は、微分プライベート(DP)アルゴリズムを設計するための古典的なレシピである。 PTRは、ローカルな感度よりも、データ依存のプライバシー損失をプライベートにテストすることで、より一般的な設定に拡張します。
  論文  参考訳（メタデータ） (2022-12-31T22:22:53Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Optimal Accounting of Differential Privacy via Characteristic Function [25.78065563380023]
  本稿では,プライバシ・プロフィール,プライバシ・プロファイル,$f$-DP,PLDフォーマリズムなどの最近の進歩を,ある最悪のケースのプライバシ・ロスランダム変数の特徴関数(phi$-function)を介して統一することを提案する。 我々のアプローチは、Renyi DPのような自然適応的な構成を可能にし、PDDのような厳密なプライバシ会計を提供し、プライバシープロファイルや$f$-DPに変換できることが示されています。
  論文  参考訳（メタデータ） (2021-06-16T06:13:23Z)
• Three Variants of Differential Privacy: Lossless Conversion and Applications [13.057076084452016]
  本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。 まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。 アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
  論文  参考訳（メタデータ） (2020-08-14T18:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。