論文の概要: Noise-Augmented Privacy-Preserving Empirical Risk Minimization with
Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
- arxiv url: http://arxiv.org/abs/2110.08676v1
- Date: Sat, 16 Oct 2021 23:04:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:39:37.070662
- Title: Noise-Augmented Privacy-Preserving Empirical Risk Minimization with
Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
- Title（参考訳）: 二重目的正規化とプライバシ予算検索とリサイクルによる騒音改善プライバシ保護実証リスク最小化
- Authors: Yinan Li and Fang Liu
- Abstract要約: 我々はNAPP-ERM(Nono-Augmented Privacy-Preserving Empirical Risk Minimization)を提案する。
NAPP-ERMは、適切に設計された拡張データを通じて目標正規化を反復的に実現することにより、過正規化を緩和する。
NAPP-ERMによる過剰規則化と民間予算の回収による変動選択と予測の緩和効果を実験を通して示す。
- 参考スコア（独自算出の注目度）: 16.81641681300436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Noise-Augmented Privacy-Preserving Empirical Risk Minimization
(NAPP-ERM) that solves ERM with differential privacy guarantees. Existing
privacy-preserving ERM approaches may be subject to over-regularization with
the employment of an l2 term to achieve strong convexity on top of the target
regularization. NAPP-ERM improves over the current approaches and mitigates
over-regularization by iteratively realizing target regularization through
appropriately designed augmented data and delivering strong convexity via a
single adaptively weighted dual-purpose l2 regularizer. When the target
regularization is for variable selection, we propose a new regularizer that
achieves both privacy and sparsity guarantees simultaneously. Finally, we
propose a strategy to retrieve privacy budget when the strong convexity
requirement is met, which can be returned to users such that the DP of ERM is
guaranteed at a lower privacy cost than originally planned, or be recycled to
the ERM optimization procedure to reduce the injected DP noise and improve the
utility of DP-ERM. From an implementation perspective, NAPP-ERM can be achieved
by optimizing a non-perturbed object function given noise-augmented data and
can thus leverage existing tools for non-private ERM optimization. We
illustrate through extensive experiments the mitigation effect of the
over-regularization and private budget retrieval by NAPP-ERM on variable
selection and prediction.
- Abstract（参考訳）: 本稿では,プライバシー保証の異なるEMMを解消するNAPP-ERM(Noss-Augmented Privacy-Preserving Empirical Risk Minimization)を提案する。
既存のプライバシー保護型EMMアプローチは、ターゲットの正規化の上に強い凸性を達成するため、l2項の使用によって過正規化される可能性がある。
NAPP-ERMは、現在のアプローチを改良し、適切に設計された拡張データを通じて目標正規化を反復的に実現し、単一の適応重み付き2目的l2正規化器を介して強い凸性を提供することにより、過正規化を緩和する。
対象の正規化が可変選択の場合,プライバシとスパーシティの両保証を同時に実現する新しい正規化器を提案する。
最後に,ermのdpが当初計画されていたよりも低いプライバシコストで保証されるように,また,注入されたdpノイズを低減し,dp-ermの有用性を向上させるためにerm最適化手順に再利用するように,強い凸性要求が満たされた時にプライバシ予算を回収する戦略を提案する。
実装の観点からは、NAPP-ERMはノイズ増大したデータに対して非摂動オブジェクト関数を最適化することで実現でき、それによって既存のツールを非私的EMM最適化に活用することができる。
NAPP-ERMによる過剰規則化と民間予算の回収による変動選択と予測の緩和効果を広範囲にわたる実験により説明する。
関連論文リスト
- Privacy-Preserving Dynamic Assortment Selection [4.399892832075127]
本稿では,マルチノミアルロジット(MNL)バンドレートモデルを用いて,プライバシ保護のための動的アソシエーション選択のための新しいフレームワークを提案する。
弊社のアプローチでは、ノイズをユーザユーティリティ推定に統合し、探索とエクスプロイトのバランスを保ちつつ、堅牢なプライバシー保護を確保している。
論文 参考訳（メタデータ） (2024-10-29T19:28:01Z) - DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。
大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
論文 参考訳（メタデータ） (2024-10-04T19:30:39Z) - Chained-DP: Can We Recycle Privacy Budget? [18.19895364709435]
本稿では,ユーザが順次データアグリゲーションを実行し,プライバシ予算を再利用することのできる,新しいChained-DPフレームワークを提案する。
逐次ゲームの数学的性質を示し、そのナッシュ平衡を解き、証明可能な経済特性を持つインセンティブメカニズムを設計する。
提案手法の有効性を数値シミュレーションにより検証し,従来のLPP機構と比較して,プライバシ予算の大幅な削減と推定誤差の低減を図った。
論文 参考訳（メタデータ） (2023-09-12T08:07:59Z) - A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。
DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。
一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
論文 参考訳（メタデータ） (2023-07-24T21:03:25Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳（メタデータ） (2023-04-17T00:38:01Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy
Constraints [53.01656650117495]
研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。
ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。
我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
論文 参考訳（メタデータ） (2022-06-15T01:43:37Z) - Optimum Noise Mechanism for Differentially Private Queries in Discrete Finite Sets [3.5379819043314176]
本稿では,離散的かつ有限な問合せセットに適した最適ノイズマス確率関数を設計するための新しいフレームワークを提案する。
我々のフレームワークは、任意の$(epsilon, delta)$制約の下でノイズ分布を最適化し、応答の精度と有用性を向上させる。
数値実験により,提案手法の最先端手法と比較して,最適機構の優れた性能が示された。
論文 参考訳（メタデータ） (2021-11-23T05:24:34Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳（メタデータ） (2020-08-01T20:22:57Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳（メタデータ） (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。