論文の概要: Differentially Private Learning with Per-Sample Adaptive Clipping

• arxiv url: http://arxiv.org/abs/2212.00328v3
• Date: Tue, 2 May 2023 04:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 17:36:10.499583
• Title: Differentially Private Learning with Per-Sample Adaptive Clipping
• Title（参考訳）: Per-Sample Adaptive Clippingを用いた差分プライベート学習
• Authors: Tianyu Xia and Shuheng Shen and Su Yao and Xinyi Fu and Ke Xu and Xiaolong Xu and Xing Fu
• Abstract要約: 非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
• 参考スコア（独自算出の注目度）: 8.401653565794353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy in AI remains a topic that draws attention from researchers and the general public in recent years. As one way to implement privacy-preserving AI, differentially private learning is a framework that enables AI models to use differential privacy (DP). To achieve DP in the learning process, existing algorithms typically limit the magnitude of gradients with a constant clipping, which requires carefully tuned due to its significant impact on model performance. As a solution to this issue, latest works NSGD and Auto-S innovatively propose to use normalization instead of clipping to avoid hyperparameter tuning. However, normalization-based approaches like NSGD and Auto-S rely on a monotonic weight function, which imposes excessive weight on small gradient samples and introduces extra deviation to the update. In this paper, we propose a Differentially Private Per-Sample Adaptive Clipping (DP-PSAC) algorithm based on a non-monotonic adaptive weight function, which guarantees privacy without the typical hyperparameter tuning process of using a constant clipping while significantly reducing the deviation between the update and true batch-averaged gradient. We provide a rigorous theoretical convergence analysis and show that with convergence rate at the same order, the proposed algorithm achieves a lower non-vanishing bound, which is maintained over training iterations, compared with NSGD/Auto-S. In addition, through extensive experimental evaluation, we show that DP-PSAC outperforms or matches the state-of-the-art methods on multiple main-stream vision and language tasks.
• Abstract（参考訳）: AIにおけるプライバシは、近年の研究者や一般大衆から注目を集めているトピックである。 プライバシ保護AIを実装する方法の1つとして、差分プライベート学習は、AIモデルが差分プライバシ(DP)を使用することを可能にするフレームワークである。 学習過程においてDPを達成するために、既存のアルゴリズムは、モデルの性能に大きな影響を与えるため、注意深く調整する必要がある、一定のクリッピングで勾配の規模を制限している。 この問題の解決策として、NSGDとAuto-Sの最新の研究は、クリッピングの代わりに正規化を使用することを革新的に提案している。 しかし、NSGDやAuto-Sのような正規化に基づくアプローチは単調な重み関数に依存しており、小さな勾配サンプルに過剰な重みを課し、更新に余分な偏差をもたらす。 本稿では,非単調適応重み関数を基本とし,更新値と真のバッチ平均勾配のずれを著しく低減しつつ,定値クリッピングを用いた典型的なハイパーパラメータチューニング処理を行わず,プライバシを保証する差分プライベートな1サンプル適応クリッピング(dp-psac)アルゴリズムを提案する。 厳密な理論的収束解析を行い,提案アルゴリズムは, NSGD/Auto-Sと比較して, トレーニング繰り返しを通して維持される低い非消滅境界を達成することを示す。 さらに, DP-PSACが複数のメインストリームビジョンおよび言語タスクにおいて, 最先端の手法よりも優れ, 適合していることを示す。

関連論文リスト

• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DP-SGD with weight clipping [1.0878040851638]
  従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。 探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
  論文  参考訳（メタデータ） (2023-10-27T09:17:15Z)
• The importance of feature preprocessing for differentially private linear optimization [38.125699428109826]
  微分プライベートモデルを訓練するための最も一般的なアルゴリズムの1つは、微分プライベート勾配降下(DPSGD)である。 線形分類の単純な場合であっても、非プライベートな最適化とは異なり、(プライベートな)特徴前処理は微分プライベートな最適化に不可欠であることを示す。 我々はDPSGDFと呼ばれるアルゴリズムを提案し、DPSGDと特徴前処理を組み合わせることで、特徴の直径に比例した最適性ギャップが生じることを証明した。
  論文  参考訳（メタデータ） (2023-07-19T20:20:52Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。