論文の概要: Differentially Private Stochastic Gradient Descent with Low-Noise
- arxiv url: http://arxiv.org/abs/2209.04188v2
- Date: Fri, 14 Jul 2023 06:16:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 17:39:58.946415
- Title: Differentially Private Stochastic Gradient Descent with Low-Noise
- Title（参考訳）: 低雑音による個人性確率勾配の差
- Authors: Puyu Wang, Yunwen Lei, Yiming Ying, Ding-Xuan Zhou
- Abstract要約: 現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
- 参考スコア（独自算出の注目度）: 49.981789906200035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning algorithms aim to extract fine-grained information
from data to provide accurate predictions, which often conflicts with the goal
of privacy protection. This paper addresses the practical and theoretical
importance of developing privacy-preserving machine learning algorithms that
ensure good performance while preserving privacy. In this paper, we focus on
the privacy and utility (measured by excess risk bounds) performances of
differentially private stochastic gradient descent (SGD) algorithms in the
setting of stochastic convex optimization. Specifically, we examine the
pointwise problem in the low-noise setting for which we derive sharper excess
risk bounds for the differentially private SGD algorithm. In the pairwise
learning setting, we propose a simple differentially private SGD algorithm
based on gradient perturbation. Furthermore, we develop novel utility bounds
for the proposed algorithm, proving that it achieves optimal excess risk rates
even for non-smooth losses. Notably, we establish fast learning rates for
privacy-preserving pairwise learning under the low-noise condition, which is
the first of its kind.
- Abstract（参考訳）: 現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目標としている。
本稿では,プライバシを維持しながら良好なパフォーマンスを保証するプライバシ保存型機械学習アルゴリズムの開発に関する実践的かつ理論的重要性について述べる。
本稿では,確率的凸最適化の設定における微分的確率的勾配降下(sgd)アルゴリズムのプライバシーと有用性(過大なリスク境界による測定)に着目する。
具体的には、微分プライベートなsgdアルゴリズムの過大なリスク境界を求める低雑音設定におけるポイントワイズ問題について検討する。
ペアワイズ学習環境では、勾配摂動に基づく単純な微分プライベートなSGDアルゴリズムを提案する。
さらに,提案アルゴリズムの新たな効用限度を開発し,非スムース損失においても最適余剰リスク率を達成することを証明した。
特に,プライバシ保護のためのペアワイズ学習において,低雑音条件下での高速学習率を確立する。
関連論文リスト
- Differentially Private Sliced Inverse Regression: Minimax Optimality and
Algorithm [16.14032140601778]
十分な次元削減の文脈において、プライバシー問題に対処するために設計された最適微分プライベートアルゴリズムを提案する。
我々は、対数係数まで最小限の下位境界を達成できる微分プライベートアルゴリズムを開発した。
自然な拡張として、微分プライベートスパース主成分分析に類似した下界と上界を容易に提供できる。
論文 参考訳（メタデータ） (2024-01-16T06:47:43Z) - Efficient Sparse Least Absolute Deviation Regression with Differential
Privacy [10.414082115202003]
頑健な回帰問題に対する高速なプライバシー保護学習ソリューションを開発した。
本アルゴリズムは,スパースLAD問題をペナル化最小二乗推定問題として修正し,高速な推定を実現する。
我々のアルゴリズムは、最先端のプライバシ保存回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを実現することができることを示す。
論文 参考訳（メタデータ） (2024-01-02T17:13:34Z) - DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。
探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文 参考訳（メタデータ） (2023-10-27T09:17:15Z) - Dynamic Privacy Allocation for Locally Differentially Private Federated
Learning with Composite Objectives [10.528569272279999]
本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。
提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。
解析結果から,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-02T13:30:33Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Bring Your Own Algorithm for Optimal Differentially Private Stochastic
Minimax Optimization [44.52870407321633]
これらの設定の聖杯は、プライバシーと過剰な人口減少の間の最適なトレードオフを保証することです。
微分プライベート・ミニマックス最適化(DP-SMO)問題を解くための一般的なフレームワークを提供する。
我々のフレームワークは、非滑らかな微分プライベート凸最適化(DP-SCO)のための最近提案されたフェイズド・ERM法[20]から着想を得たものである。
論文 参考訳（メタデータ） (2022-06-01T10:03:20Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-10-14T15:02:20Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。