論文の概要: DPMLBench: Holistic Evaluation of Differentially Private Machine Learning

• arxiv url: http://arxiv.org/abs/2305.05900v1
• Date: Wed, 10 May 2023 05:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 14:17:00.899291
• Title: DPMLBench: Holistic Evaluation of Differentially Private Machine Learning
• Title（参考訳）: DPMLBench: 微分プライベート機械学習の全体的評価
• Authors: Chengkun Wei, Minghu Zhao, Zhikun Zhang, Min Chen, Wenlong Meng, Bo Liu, Yuan Fan, Wenzhi Chen
• Abstract要約: 近年,DP-SGDに基づくアルゴリズムの改良が提案されている。 さらに重要なのは、これらのDPMLアルゴリズムの改善を実用性、防御能力、一般化可能性で比較する包括的な研究が欠如していることだ。 このギャップを,画像分類タスクにおけるメンバーシップ推論攻撃(MIA)に対する実用性と防御能力に関する改良DPMLアルゴリズムの総合的な測定によって埋める。
• 参考スコア（独自算出の注目度）: 11.421808811547335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP), as a rigorous mathematical definition quantifying privacy leakage, has become a well-accepted standard for privacy protection. Combined with powerful machine learning techniques, differentially private machine learning (DPML) is increasingly important. As the most classic DPML algorithm, DP-SGD incurs a significant loss of utility, which hinders DPML's deployment in practice. Many studies have recently proposed improved algorithms based on DP-SGD to mitigate utility loss. However, these studies are isolated and cannot comprehensively measure the performance of improvements proposed in algorithms. More importantly, there is a lack of comprehensive research to compare improvements in these DPML algorithms across utility, defensive capabilities, and generalizability. We fill this gap by performing a holistic measurement of improved DPML algorithms on utility and defense capability against membership inference attacks (MIAs) on image classification tasks. We first present a taxonomy of where improvements are located in the machine learning life cycle. Based on our taxonomy, we jointly perform an extensive measurement study of the improved DPML algorithms. We also cover state-of-the-art label differential privacy (Label DP) algorithms in the evaluation. According to our empirical results, DP can effectively defend against MIAs, and sensitivity-bounding techniques such as per-sample gradient clipping play an important role in defense. We also explore some improvements that can maintain model utility and defend against MIAs more effectively. Experiments show that Label DP algorithms achieve less utility loss but are fragile to MIAs. To support our evaluation, we implement a modular re-usable software, DPMLBench, which enables sensitive data owners to deploy DPML algorithms and serves as a benchmark tool for researchers and practitioners.
• Abstract（参考訳）: 差分プライバシー(DP)は、プライバシー漏洩を定量化する厳密な数学的定義として、プライバシー保護の標準として広く受け入れられている。 強力な機械学習技術と組み合わせることで、微分プライベート機械学習(DPML)がますます重要になる。 最も古典的なDPMLアルゴリズムとして、DP-SGDは実用性に大きな損失をもたらし、DPMLの実際の展開を妨げる。 近年,DP-SGDに基づくアルゴリズムの改良が提案されている。 しかし、これらの研究は孤立しており、アルゴリズムで提案される改善の性能を包括的に測定することはできない。 さらに重要なのは、これらのDPMLアルゴリズムの改善を実用性、防御能力、一般化可能性で比較する包括的な研究が欠如していることだ。 このギャップを,画像分類タスクにおけるメンバーシップ推論攻撃(MIA)に対する実用性と防御能力に関する改良DPMLアルゴリズムの総合的な測定によって埋める。 まず,機械学習のライフサイクルにおける改善点の分類について述べる。 分類学に基づいて,改良されたDPMLアルゴリズムの広範な測定を共同で行う。 また,その評価において,最先端ラベル差分プライバシー (label dp) アルゴリズムについても取り上げる。 実験結果によると,DPはMIAに対して効果的に防御でき,サンプルごとの勾配クリッピングなどの感度バウンド技術は防御に重要な役割を担っている。 また、モデルユーティリティをメンテナンスし、miasに対してより効果的に防御できる改善も検討しています。 実験により、ラベルDPアルゴリズムは実用性損失が少なく、MIAに脆弱であることが示された。 我々は,DPMLアルゴリズムのデプロイを可能にするモジュール型再利用可能なソフトウェアDPMLBenchを実装し,研究者や実践者のためのベンチマークツールとして機能する。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• DPAdapter: Improving Differentially Private Deep Learning through Noise Tolerance Pre-training [33.935692004427175]
  DPAdapterは,パラメータのロバスト性を高め,DPMLアルゴリズムのモデル性能を向上する先駆的手法である。 我々の実験によると、DPAdapterは最先端のDPMLアルゴリズムを大幅に強化し、平均精度は72.92%から77.09%に向上している。
  論文  参考訳（メタデータ） (2024-03-05T00:58:34Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning [18.55306294638515]
  本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。 適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
  論文  参考訳（メタデータ） (2022-11-12T00:41:11Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• DiVa: An Accelerator for Differentially Private Machine Learning [1.054627611890905]
  差別化プライバシ(DP)は、プライバシー保護の実用的な標準として、業界で急速に勢いを増している。 DP-SGD という,最先端の差分型プライベートML トレーニングアルゴリズムを用いて,作業負荷の詳細な評価を行う。 そこで本研究では,差分型プライベートMLであるDiVaのアクセラレータを提案する。
  論文  参考訳（メタデータ） (2022-08-26T01:19:56Z)
• Semi-Markov Offline Reinforcement Learning for Healthcare [57.15307499843254]
  本稿では,SDQN,SDDQN,SBCQという3つのオフラインRLアルゴリズムを紹介する。 変動時間環境において,これらのアルゴリズムのみが最適ポリシーを学習できることを実験的に実証した。 我々は,脳卒中予防のためのウォーファリン投与に関連する実世界のオフラインデータセットに,我々の新しいアルゴリズムを適用した。
  論文  参考訳（メタデータ） (2022-03-17T14:51:21Z)
• DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning [3.822543555265593]
  差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。 機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。 ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
  論文  参考訳（メタデータ） (2021-12-24T08:40:28Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。