論文の概要: Gradient Sparsification Can Improve Performance of
Differentially-Private Convex Machine Learning
- arxiv url: http://arxiv.org/abs/2011.14572v2
- Date: Tue, 1 Dec 2020 23:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 14:55:57.427810
- Title: Gradient Sparsification Can Improve Performance of
Differentially-Private Convex Machine Learning
- Title（参考訳）: 微分原始凸機械学習の性能向上のためのグラディエントスパシフィケーション
- Authors: Farhad Farokhi
- Abstract要約: 個人機械学習モデルの性能に対する差分プライバシノイズの悪影響を軽減するために勾配スペーシフィケーションを用いる。
差分偏差勾配の評価には圧縮センシングと付加ラプラス雑音を用いる。
- 参考スコア（独自算出の注目度）: 14.497406777219112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We use gradient sparsification to reduce the adverse effect of differential
privacy noise on performance of private machine learning models. To this aim,
we employ compressed sensing and additive Laplace noise to evaluate
differentially-private gradients. Noisy privacy-preserving gradients are used
to perform stochastic gradient descent for training machine learning models.
Sparsification, achieved by setting the smallest gradient entries to zero, can
reduce the convergence speed of the training algorithm. However, by
sparsification and compressed sensing, the dimension of communicated gradient
and the magnitude of additive noise can be reduced. The interplay between these
effects determines whether gradient sparsification improves the performance of
differentially-private machine learning models. We investigate this
analytically in the paper. We prove that, for small privacy budgets,
compression can improve performance of privacy-preserving machine learning
models. However, for large privacy budgets, compression does not necessarily
improve the performance. Intuitively, this is because the effect of
privacy-preserving noise is minimal in large privacy budget regime and thus
improvements from gradient sparsification cannot compensate for its slower
convergence.
- Abstract（参考訳）: 個人機械学習モデルの性能に対する差分プライバシノイズの悪影響を軽減するために勾配スペーシフィケーションを用いる。
この目的のために、差分プライベート勾配を評価するために圧縮センシングと付加ラプラス雑音を用いる。
ノイズの多いプライバシー保護勾配は、機械学習モデルをトレーニングするための確率的勾配降下を実行するために使用される。
最小の勾配エントリをゼロにすることでスパーシフィケーションが達成され、トレーニングアルゴリズムの収束速度を低減できる。
しかし、スペーシフィケーションと圧縮センシングにより、通信勾配の寸法と付加音の大きさを低減できる。
これらの効果の相互作用は、勾配スパーシフィケーションが微分プライベート機械学習モデルの性能を改善するかどうかを決定する。
論文の中でこれを分析的に検討する。
私たちは、小さなプライバシー予算で、圧縮がプライバシ保存機械学習モデルのパフォーマンスを向上させることを証明します。
しかし、大きなプライバシー予算では、圧縮が必ずしもパフォーマンスを改善するとは限らない。
直感的には、大きなプライバシー予算体制では、プライバシー保護ノイズの影響は最小限であり、グラデーションスペーシフィケーションの改善は、その緩やかな収束を補うことができないためである。
関連論文リスト
- Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。
このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。
DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
論文 参考訳（メタデータ） (2024-11-05T12:47:30Z) - DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。
大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
論文 参考訳（メタデータ） (2024-10-04T19:30:39Z) - Certified Machine Unlearning via Noisy Stochastic Gradient Descent [20.546589699647416]
機械学習は、訓練されたモデルに対する特定のデータポイントの効果を効率的に除去することを目的としている。
本研究では,雑音勾配勾配を非学習に活用し,その最初の近似的非学習保証を確立することを提案する。
論文 参考訳（メタデータ） (2024-03-25T18:43:58Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - Differentially Private Sharpness-Aware Training [5.488902352630076]
差分プライバシー(DP)を用いたディープラーニングモデルのトレーニングでは、パフォーマンスが低下する。
また, 平らなミニマは, 傾斜別クリッピングによる負の効果を低減できることを示した。
本稿では,プライバシ最適化のトレードオフを緩和する,シャープネスを考慮した新たなトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-06-09T03:37:27Z) - On the Interaction Between Differential Privacy and Gradient Compression
in Deep Learning [55.22219308265945]
差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。
勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
論文 参考訳（メタデータ） (2022-11-01T20:28:45Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Gradient Leakage Attack Resilient Deep Learning [7.893378392969824]
勾配の漏洩攻撃は ディープラーニングで最も悪質な プライバシーの脅威の1つだ
差分プライバシーを持つディープラーニングは、差分プライバシーを保証するディープラーニングモデルを公開するためのデファクトスタンダードである。
本稿では,差分プライバシーを用いた勾配リーク耐性深層学習の代替手法について検討する。
論文 参考訳（メタデータ） (2021-12-25T03:33:02Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。