論文の概要: Noise-Augmented Privacy-Preserving Empirical Risk Minimization with
Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
- arxiv url: http://arxiv.org/abs/2110.08676v1
- Date: Sat, 16 Oct 2021 23:04:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:39:37.070662
- Title: Noise-Augmented Privacy-Preserving Empirical Risk Minimization with
Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
- Title(参考訳): 二重目的正規化とプライバシ予算検索とリサイクルによる騒音改善プライバシ保護実証リスク最小化
- Authors: Yinan Li and Fang Liu
- Abstract要約: 我々はNAPP-ERM(Nono-Augmented Privacy-Preserving Empirical Risk Minimization)を提案する。
NAPP-ERMは、適切に設計された拡張データを通じて目標正規化を反復的に実現することにより、過正規化を緩和する。
NAPP-ERMによる過剰規則化と民間予算の回収による変動選択と予測の緩和効果を実験を通して示す。
- 参考スコア(独自算出の注目度): 16.81641681300436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Noise-Augmented Privacy-Preserving Empirical Risk Minimization
(NAPP-ERM) that solves ERM with differential privacy guarantees. Existing
privacy-preserving ERM approaches may be subject to over-regularization with
the employment of an l2 term to achieve strong convexity on top of the target
regularization. NAPP-ERM improves over the current approaches and mitigates
over-regularization by iteratively realizing target regularization through
appropriately designed augmented data and delivering strong convexity via a
single adaptively weighted dual-purpose l2 regularizer. When the target
regularization is for variable selection, we propose a new regularizer that
achieves both privacy and sparsity guarantees simultaneously. Finally, we
propose a strategy to retrieve privacy budget when the strong convexity
requirement is met, which can be returned to users such that the DP of ERM is
guaranteed at a lower privacy cost than originally planned, or be recycled to
the ERM optimization procedure to reduce the injected DP noise and improve the
utility of DP-ERM. From an implementation perspective, NAPP-ERM can be achieved
by optimizing a non-perturbed object function given noise-augmented data and
can thus leverage existing tools for non-private ERM optimization. We
illustrate through extensive experiments the mitigation effect of the
over-regularization and private budget retrieval by NAPP-ERM on variable
selection and prediction.
- Abstract(参考訳): 本稿では,プライバシー保証の異なるEMMを解消するNAPP-ERM(Noss-Augmented Privacy-Preserving Empirical Risk Minimization)を提案する。
既存のプライバシー保護型EMMアプローチは、ターゲットの正規化の上に強い凸性を達成するため、l2項の使用によって過正規化される可能性がある。
NAPP-ERMは、現在のアプローチを改良し、適切に設計された拡張データを通じて目標正規化を反復的に実現し、単一の適応重み付き2目的l2正規化器を介して強い凸性を提供することにより、過正規化を緩和する。
対象の正規化が可変選択の場合,プライバシとスパーシティの両保証を同時に実現する新しい正規化器を提案する。
最後に,ermのdpが当初計画されていたよりも低いプライバシコストで保証されるように,また,注入されたdpノイズを低減し,dp-ermの有用性を向上させるためにerm最適化手順に再利用するように,強い凸性要求が満たされた時にプライバシ予算を回収する戦略を提案する。
実装の観点からは、NAPP-ERMはノイズ増大したデータに対して非摂動オブジェクト関数を最適化することで実現でき、それによって既存のツールを非私的EMM最適化に活用することができる。
NAPP-ERMによる過剰規則化と民間予算の回収による変動選択と予測の緩和効果を広範囲にわたる実験により説明する。
関連論文リスト
- A Differentially Private Weighted Empirical Risk Minimization Procedure
and its Application to Outcome Weighted Learning [5.025486694392673]
本稿では,DP保証の厳密な理論的証明を背景とした,最初の微分プライベートなwERMアルゴリズムを提案する。
本研究は,DP-wERMによる重み付け学習(OWL)の有効性について,シミュレーションおよび覚醒のためのメラトニン実効臨床試験で評価した。
論文 参考訳(メタデータ) (2023-07-24T21:03:25Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - Multi-Message Shuffled Privacy in Federated Learning [2.6778110563115542]
本稿では,通信制約下での分散最適化について検討する。
最適化にSGDを用いたサーバは、分散平均推定(DME)を用いたモデル更新のためのクライアント側局所勾配を集約する
最近開発されたMMS(Multi-message shuffled)プライバシーフレームワークを用いて,通信効率の良いプライベートDMEを開発する。
論文 参考訳(メタデータ) (2023-02-22T05:23:52Z) - Provable Membership Inference Privacy [31.08016816475564]
差別化プライバシ(DP)は、証明可能なプライバシの標準標準のひとつとして登場した。
本稿では,これらの課題に対処するために,新たなプライバシー概念である会員推測プライバシ(MIP)を提案する。
MIP は DP の保証に要する量よりもランダム性の少ない量で実現可能であることを示す。
論文 参考訳(メタデータ) (2022-11-12T06:13:00Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy
Constraints [53.01656650117495]
研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。
ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。
我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
論文 参考訳(メタデータ) (2022-06-15T01:43:37Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳(メタデータ) (2022-05-08T14:38:23Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳(メタデータ) (2020-08-21T18:43:37Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z) - Differential Privacy at Risk: Bridging Randomness and Privacy Budget [5.393465689287103]
我々は、ノイズ分布によって引き起こされる明示的ランダム性や、データ生成によって引き起こされる暗黙的ランダム性など、ランダム性源の役割を分析する。
プライバシ保存機構の確率的校正であるリスクのあるプライバシを提案する。
コスト最適プライバシを用いたコンポジションは,従来の高度なコンポジションよりも強力なプライバシ保証を提供することを示す。
論文 参考訳(メタデータ) (2020-03-02T15:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。