論文の概要: Stability Enhanced Privacy and Applications in Private Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2006.14360v1
• Date: Thu, 25 Jun 2020 13:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:40:53.496678
• Title: Stability Enhanced Privacy and Applications in Private Stochastic Gradient Descent
• Title（参考訳）: 個人の確率的勾配降下におけるプライバシの安定性向上と応用
• Authors: Lauren Watson, Benedek Rozemberczki, Rik Sarkar
• Abstract要約: 安定性が向上すれば、プライバシーが向上し、プライバシーユーティリティが確立される。 実験は、均一な弾力性保証と選択によるプライバシー保証の有用性を検証する。
• 参考スコア（独自算出の注目度）: 6.896797484250303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Private machine learning involves addition of noise while training, resulting in lower accuracy. Intuitively, greater stability can imply greater privacy and improve this privacy-utility tradeoff. We study this role of stability in private empirical risk minimization, where differential privacy is achieved by output perturbation, and establish a corresponding theoretical result showing that for strongly-convex loss functions, an algorithm with uniform stability of $\beta$ implies a bound of $O(\sqrt{\beta})$ on the scale of noise required for differential privacy. The result applies to both explicit regularization and to implicitly stabilized ERM, such as adaptations of Stochastic Gradient Descent that are known to be stable. Thus, it generalizes recent results that improve privacy through modifications to SGD, and establishes stability as the unifying perspective. It implies new privacy guarantees for optimizations with uniform stability guarantees, where a corresponding differential privacy guarantee was previously not known. Experimental results validate the utility of stability enhanced privacy in several problems, including application of elastic nets and feature selection.
• Abstract（参考訳）: プライベート機械学習は、トレーニング中にノイズを追加し、精度を低下させる。 直感的には、より大きな安定性はプライバシーを高め、プライバシーとユーティリティのトレードオフを改善する可能性がある。 出力の摂動によって差分プライバシーが達成されるプライベートな経験的リスク最小化におけるこの安定性の役割を考察し、強凸損失関数に対して、$\beta$の均一な安定性を持つアルゴリズムは、差分プライバシーに必要なノイズのスケールにおいて$O(\sqrt{\beta})$の上限を意味することを示す。 その結果は、明らかな正則化と、安定であることが知られている確率勾配 Descent の適応のような暗黙的に安定化された ERM の両方に適用できる。 これにより、SGDの修正によってプライバシーを改善する最近の結果を一般化し、統一的な視点として安定性を確立する。 これは、統一された安定性を保証する最適化のための新しいプライバシー保証を意味する。 弾性ネットの適用や特徴選択など,安定性の向上されたプライバシの有効性を検証する実験結果が得られた。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Fed-AugMix: Balancing Privacy and Utility via Data Augmentation [15.325493418326117]
  緩やかな漏洩攻撃は、連合学習のプライバシー保証に重大な脅威をもたらす。 本稿では,プライバシ・ユーティリティのトレードオフを実現するために,新たなデータ拡張ベースのフレームワークを提案する。 我々のフレームワークは、AugMixアルゴリズムをクライアントレベルで組み込んで、制御可能な重大度でデータ拡張を可能にする。
  論文  参考訳（メタデータ） (2024-12-18T13:05:55Z)
• $(ε, δ)$-Differentially Private Partial Least Squares Regression [1.8666451604540077]
  我々は,モデルに基づくデータのプライバシーを確保するために,$(epsilon, delta)$-differentially private PLS (edPLS)アルゴリズムを提案する。 実験により、EDPLSはトレーニングデータに固有の変動源を回復することを目的とした、効果的なプライバシー攻撃を施すことが示されている。
  論文  参考訳（メタデータ） (2024-12-12T10:49:55Z)
• Private Optimal Inventory Policy Learning for Feature-based Newsvendor with Unknown Demand [13.594765018457904]
  本稿では, f-differential privacy framework内で, プライバシ保護に最適な在庫ポリシーを推定するための新しいアプローチを提案する。 最適在庫推定のための畳み込み平滑化に基づくクリップ付き雑音勾配降下アルゴリズムを開発した。 提案手法は,コストを極端に増大させることなく,望ましいプライバシー保護を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-23T19:15:43Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Differential Privacy at Risk: Bridging Randomness and Privacy Budget [5.393465689287103]
  我々は、ノイズ分布によって引き起こされる明示的ランダム性や、データ生成によって引き起こされる暗黙的ランダム性など、ランダム性源の役割を分析する。 プライバシ保存機構の確率的校正であるリスクのあるプライバシを提案する。 コスト最適プライバシを用いたコンポジションは,従来の高度なコンポジションよりも強力なプライバシ保証を提供することを示す。
  論文  参考訳（メタデータ） (2020-03-02T15:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。