論文の概要: Differentially Private Learning with Per-Sample Adaptive Clipping

• arxiv url: http://arxiv.org/abs/2212.00328v3
• Date: Tue, 2 May 2023 04:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 17:36:10.499583
• Title: Differentially Private Learning with Per-Sample Adaptive Clipping
• Title（参考訳）: Per-Sample Adaptive Clippingを用いた差分プライベート学習
• Authors: Tianyu Xia and Shuheng Shen and Su Yao and Xinyi Fu and Ke Xu and Xiaolong Xu and Xing Fu
• Abstract要約: 非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
• 参考スコア（独自算出の注目度）: 8.401653565794353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy in AI remains a topic that draws attention from researchers and the general public in recent years. As one way to implement privacy-preserving AI, differentially private learning is a framework that enables AI models to use differential privacy (DP). To achieve DP in the learning process, existing algorithms typically limit the magnitude of gradients with a constant clipping, which requires carefully tuned due to its significant impact on model performance. As a solution to this issue, latest works NSGD and Auto-S innovatively propose to use normalization instead of clipping to avoid hyperparameter tuning. However, normalization-based approaches like NSGD and Auto-S rely on a monotonic weight function, which imposes excessive weight on small gradient samples and introduces extra deviation to the update. In this paper, we propose a Differentially Private Per-Sample Adaptive Clipping (DP-PSAC) algorithm based on a non-monotonic adaptive weight function, which guarantees privacy without the typical hyperparameter tuning process of using a constant clipping while significantly reducing the deviation between the update and true batch-averaged gradient. We provide a rigorous theoretical convergence analysis and show that with convergence rate at the same order, the proposed algorithm achieves a lower non-vanishing bound, which is maintained over training iterations, compared with NSGD/Auto-S. In addition, through extensive experimental evaluation, we show that DP-PSAC outperforms or matches the state-of-the-art methods on multiple main-stream vision and language tasks.
• Abstract（参考訳）: AIにおけるプライバシは、近年の研究者や一般大衆から注目を集めているトピックである。 プライバシ保護AIを実装する方法の1つとして、差分プライベート学習は、AIモデルが差分プライバシ(DP)を使用することを可能にするフレームワークである。 学習過程においてDPを達成するために、既存のアルゴリズムは、モデルの性能に大きな影響を与えるため、注意深く調整する必要がある、一定のクリッピングで勾配の規模を制限している。 この問題の解決策として、NSGDとAuto-Sの最新の研究は、クリッピングの代わりに正規化を使用することを革新的に提案している。 しかし、NSGDやAuto-Sのような正規化に基づくアプローチは単調な重み関数に依存しており、小さな勾配サンプルに過剰な重みを課し、更新に余分な偏差をもたらす。 本稿では,非単調適応重み関数を基本とし,更新値と真のバッチ平均勾配のずれを著しく低減しつつ,定値クリッピングを用いた典型的なハイパーパラメータチューニング処理を行わず,プライバシを保証する差分プライベートな1サンプル適応クリッピング(dp-psac)アルゴリズムを提案する。 厳密な理論的収束解析を行い,提案アルゴリズムは, NSGD/Auto-Sと比較して, トレーニング繰り返しを通して維持される低い非消滅境界を達成することを示す。 さらに, DP-PSACが複数のメインストリームビジョンおよび言語タスクにおいて, 最先端の手法よりも優れ, 適合していることを示す。

関連論文リスト

• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• The importance of feature preprocessing for differentially private linear optimization [38.125699428109826]
  微分プライベートモデルを訓練するための最も一般的なアルゴリズムの1つは、微分プライベート勾配降下(DPSGD)である。 線形分類の単純な場合であっても、非プライベートな最適化とは異なり、(プライベートな)特徴前処理は微分プライベートな最適化に不可欠であることを示す。 我々はDPSGDFと呼ばれるアルゴリズムを提案し、DPSGDと特徴前処理を組み合わせることで、特徴の直径に比例した最適性ギャップが生じることを証明した。
  論文  参考訳（メタデータ） (2023-07-19T20:20:52Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。