論文の概要: Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss

• arxiv url: http://arxiv.org/abs/2205.13710v1
• Date: Fri, 27 May 2022 02:09:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 14:05:39.847021
• Title: Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss
• Title（参考訳）: ノイズの確率的勾配降下のプライバシ: より多くのプライバシー損失のないイテレーションの増加
• Authors: Jason M. Altschuler and Kunal Talwar
• Abstract要約: 業界は単純なアルゴリズムを広く採用している:騒音を伴うグラディエントDescent(グラディエントLangevin Dynamics) このアルゴリズムのプライバシ損失に関する疑問は、バウンドドメイン上の滑らかな凸損失の一見単純な設定であっても、まだオープンである。 我々は、差分プライバシーを一定の要因まで特徴づけ、小さなバーンイン期間の後、SGDの実行がこれ以上のプライバシーを漏らさないことを示す。
• 参考スコア（独自算出の注目度）: 34.66940399825547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central issue in machine learning is how to train models on sensitive user data. Industry has widely adopted a simple algorithm: Stochastic Gradient Descent with noise (a.k.a. Stochastic Gradient Langevin Dynamics). However, foundational theoretical questions about this algorithm's privacy loss remain open -- even in the seemingly simple setting of smooth convex losses over a bounded domain. Our main result resolves these questions: for a large range of parameters, we characterize the differential privacy up to a constant factor. This result reveals that all previous analyses for this setting have the wrong qualitative behavior. Specifically, while previous privacy analyses increase ad infinitum in the number of iterations, we show that after a small burn-in period, running SGD longer leaks no further privacy. Our analysis departs completely from previous approaches based on fast mixing, instead using techniques based on optimal transport (namely, Privacy Amplification by Iteration) and the Sampled Gaussian Mechanism (namely, Privacy Amplification by Sampling). Our techniques readily extend to other settings, e.g., strongly convex losses, non-uniform stepsizes, arbitrary batch sizes, and random or cyclic choice of batches.
• Abstract（参考訳）: マシンラーニングの中心的な問題は、センシティブなユーザデータのモデルトレーニング方法だ。 業界ではStochastic Gradient Descent with noise(Stochastic Gradient Langevin Dynamics)という単純なアルゴリズムが広く採用されている。 しかし、このアルゴリズムのプライバシ損失に関する基本的な理論的疑問は、境界領域上の滑らかな凸損失の一見単純な設定でさえも、未解決のままである。 我々の主な結果はこれらの疑問を解決している: 幅広いパラメータに対して、微分プライバシーを一定要素まで特徴づける。 この結果は、この設定の以前のすべての分析が間違った定性的振る舞いを持つことを示している。 具体的には、以前のプライバシー分析が反復回数で広告インフィニトゥムを増加させる一方で、小さなバーンイン期間の後、SGDの実行がそれ以上のプライバシーを漏らさないことを示す。 私たちの分析は、最適なトランスポート(すなわち、反復によるプライバシ増幅)とサンプル化されたガウス機構(すなわちサンプリングによるプライバシ増幅)に基づく技術を使う代わりに、高速混合に基づく以前のアプローチから完全に離れています。 例えば、強い凸損失、一様でないステップ化、任意のバッチサイズ、バッチのランダムあるいは周期的な選択などです。

関連論文リスト

• Shifted Interpolation for Differential Privacy [6.1836947007564085]
  雑音勾配降下とその変種は、微分プライベート機械学習の主要なアルゴリズムである。 本稿では、$f$差分プライバシの統一化フレームワークにおいて、"corollary によるプライバシ増幅" 現象を確立する。 これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
  論文  参考訳（メタデータ） (2024-03-01T04:50:04Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
  微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。 純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。 本稿では,総和,数,投票の単純な統計量について両問題を解く。
  論文  参考訳（メタデータ） (2023-09-27T17:09:36Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Differentially Private Learning Needs Hidden State (Or Much Faster Convergence) [9.429448411561541]
  差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。 私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
  論文  参考訳（メタデータ） (2022-03-10T13:31:08Z)
• Privacy Amplification Via Bernoulli Sampling [24.23990103106668]
  ベイズ推論で用いられる新しい操作, 後部からのサンプリングのプライバシー増幅特性を解析する。 この設定で増幅係数を計算し、この係数の上下境界を確立するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-05-21T22:34:32Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent [10.409652277630132]
  我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。 プライバシーの損失は指数関数的に速く収束する。
  論文  参考訳（メタデータ） (2021-02-11T05:49:37Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)
• The Discrete Gaussian for Differential Privacy [23.977143445822897]
  微分プライベートシステムを構築するための重要なツールは、機密データセットで評価された関数の出力にガウスノイズを追加することである。 これまでの研究は、一見無害な数値エラーがプライバシーを完全に破壊することを示した。 差分プライバシーの文脈において、離散ガウシアンを導入・分析する。
  論文  参考訳（メタデータ） (2020-03-31T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。