論文の概要: The importance of feature preprocessing for differentially private linear optimization

• arxiv url: http://arxiv.org/abs/2307.11106v2
• Date: Mon, 19 Feb 2024 21:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 21:19:31.692740
• Title: The importance of feature preprocessing for differentially private linear optimization
• Title（参考訳）: 微分プライベート線形最適化における特徴前処理の重要性
• Authors: Ziteng Sun, Ananda Theertha Suresh, Aditya Krishna Menon
• Abstract要約: 微分プライベートモデルを訓練するための最も一般的なアルゴリズムの1つは、微分プライベート勾配降下(DPSGD)である。 線形分類の単純な場合であっても、非プライベートな最適化とは異なり、(プライベートな)特徴前処理は微分プライベートな最適化に不可欠であることを示す。 我々はDPSGDFと呼ばれるアルゴリズムを提案し、DPSGDと特徴前処理を組み合わせることで、特徴の直径に比例した最適性ギャップが生じることを証明した。
• 参考スコア（独自算出の注目度）: 38.125699428109826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training machine learning models with differential privacy (DP) has received increasing interest in recent years. One of the most popular algorithms for training differentially private models is differentially private stochastic gradient descent (DPSGD) and its variants, where at each step gradients are clipped and combined with some noise. Given the increasing usage of DPSGD, we ask the question: is DPSGD alone sufficient to find a good minimizer for every dataset under privacy constraints? Towards answering this question, we show that even for the simple case of linear classification, unlike non-private optimization, (private) feature preprocessing is vital for differentially private optimization. In detail, we first show theoretically that there exists an example where without feature preprocessing, DPSGD incurs an optimality gap proportional to the maximum Euclidean norm of features over all samples. We then propose an algorithm called DPSGD-F, which combines DPSGD with feature preprocessing and prove that for classification tasks, it incurs an optimality gap proportional to the diameter of the features $\max_{x, x' \in D} \|x - x'\|_2$. We finally demonstrate the practicality of our algorithm on image classification benchmarks.
• Abstract（参考訳）: 近年,差分プライバシー(DP)を用いた機械学習モデルの訓練が注目されている。 微分プライベートモデルを訓練するための最も一般的なアルゴリズムの1つは微分プライベート確率勾配降下(dpsgd)とその変種であり、各ステップの勾配はクリップされ、いくつかのノイズと組み合わせられる。 DPSGDは、プライバシの制約の下で、すべてのデータセットに対して適切な最小化子を見つけるのに十分なものなのでしょうか? この質問に答えるためには、線形分類の単純な場合であっても、非プライベート最適化とは異なり、(プライベート)特徴前処理が微分プライベート最適化に不可欠であることを示す。 より詳しくは、DPSGDは、特徴前処理がなければ、すべてのサンプルに対する特徴の最大ユークリッドノルムに比例する最適性ギャップを生じさせる例が存在することを理論的に示す。 次に、DPSGDと特徴前処理を組み合わせたDPSGD-Fというアルゴリズムを提案し、分類タスクに対して、特徴量$\max_{x, x' \in D} \|xx'\|_2$の直径に比例した最適性ギャップを生じることを証明した。 最後に,画像分類ベンチマークによるアルゴリズムの実用性を示す。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DPAF: Image Synthesis via Differentially Private Aggregation in Forward Phase [14.76128148793876]
  DPAFは高次元画像合成のための効果的な微分プライベート生成モデルである。 クリッピング勾配における情報損失を低減し、アグリゲーションに対する感度を低下させる。 また、識別器の異なる部分を非対称に訓練する新しいトレーニング戦略を提案することにより、適切なバッチサイズを設定する問題にも対処する。
  論文  参考訳（メタデータ） (2023-04-20T16:32:02Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。