論文の概要: Differentially Private Learning Needs Hidden State (Or Much Faster
Convergence)
- arxiv url: http://arxiv.org/abs/2203.05363v1
- Date: Thu, 10 Mar 2022 13:31:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-11 14:42:29.116194
- Title: Differentially Private Learning Needs Hidden State (Or Much Faster
Convergence)
- Title（参考訳）: 異なるプライベートな学習は、隠れた状態(あるいははるかに高速な収束)を必要とする
- Authors: Jiayuan Ye, Reza Shokri
- Abstract要約: 差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。
私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
- 参考スコア（独自算出の注目度）: 9.429448411561541
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy analysis of randomized learning algorithms typically
relies on composition theorems, where the implicit assumption is that the
internal state of the iterative algorithm is revealed to the adversary.
However, by assuming hidden states for DP algorithms (when only the
last-iterate is observable), recent works prove a converging privacy bound for
noisy gradient descent (on strongly convex smooth loss function) that is
significantly smaller than composition bounds after $O(1/\text{step-size})$
epochs. In this paper, we extend this hidden-state analysis to the noisy
mini-batch stochastic gradient descent algorithms on strongly-convex smooth
loss functions. We prove converging R\'enyi DP bounds under various mini-batch
sampling schemes, such as "shuffle and partition" (which are used in practical
implementations of DP-SGD) and "sampling without replacement". We prove that,
in these settings, our privacy bound is much smaller than the composition bound
for training with a large number of iterations (which is the case for learning
from high-dimensional data). Our converging privacy analysis, thus, shows that
differentially private learning, with a tight bound, needs hidden state privacy
analysis or a fast convergence. To complement our theoretical results, we run
experiment on training classification models on MNIST, FMNIST and CIFAR-10
datasets, and observe a better accuracy given fixed privacy budgets, under the
hidden-state analysis.
- Abstract（参考訳）: ランダム化学習アルゴリズムの微分プライバシー解析は通常合成定理に依存するが、暗黙の仮定では反復アルゴリズムの内部状態が敵に明らかにされる。
しかし、DPアルゴリズムの隠れ状態(最終項目のみが観測可能である場合)を仮定することにより、最近の研究は、O(1/\text{step-size})$ epochsの後の構成境界よりもはるかに小さいノイズ勾配降下(強い凸滑らかな損失関数)に対する収束プライバシーを証明している。
本稿では,この隠れ状態解析を,強凸滑らかな損失関数に対する微小バッチ確率勾配降下アルゴリズムに拡張する。
DP-SGDの実践的な実装であるシャッフル・アンド・パーティション(シャッフル・アンド・パーティション)や「交換なしサンプリング」など,様々なミニバッチサンプリングスキームの下でR\enyi DP境界を収束させることを実証する。
これらの設定では、私たちのプライバシ境界が、多数のイテレーション(高次元データから学ぶ場合)でトレーニングを行うための構成よりもはるかに小さいことを証明しています。
私たちの収束するプライバシー分析は、差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシー分析または高速な収束を必要とすることを示している。
理論的結果の補完として,MNIST,FMNIST,CIFAR-10データセットのトレーニング分類モデルを実験し,固定されたプライバシー予算が与えられた場合,隠れ状態解析の下でより正確な精度を観察する。
関連論文リスト
- Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses [2.532202013576547]
微分プライベート勾配(DP-SGD)は、微分プライベートモデルパラメータの列を生成するために反復する反復機械学習アルゴリズムのファミリーである。
最終段階の会計は困難であり、既存の作業はほとんどの実装で満たされていない強い仮定を必要とする。
損失関数の小さなステップサイズとリプシッツ滑らかさの現実的な仮定の下で、最後のイテレーションに対して新しいRenyi差分プライバシー(R)上限を提供する。
論文 参考訳（メタデータ） (2024-07-07T02:35:55Z) - Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。
ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
論文 参考訳（メタデータ） (2024-07-05T22:43:32Z) - Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even
for Non-Convex Losses [4.68299658663016]
Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。
最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。
DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
論文 参考訳（メタデータ） (2023-05-17T02:25:56Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Differentially Private Federated Learning via Inexact ADMM with Multiple
Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。
当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文 参考訳（メタデータ） (2022-02-18T19:58:47Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy
Amplification by Shuffling [49.43288037509783]
ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。
私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
論文 参考訳（メタデータ） (2020-12-23T17:07:26Z) - SGD with shuffling: optimal rates without component convexity and large
epoch requirements [60.65928290219793]
我々はRandomShuffle(各エポックの開始時のシャッフル)とSingleShuffle(1回だけシャッフル)を考える。
我々はこれらのアルゴリズムの最小収束速度をポリログ係数ギャップまで確立する。
我々は、すべての先行芸術に共通する欠点を取り除くことにより、RandomShuffleの厳密な収束結果をさらに強化する。
論文 参考訳（メタデータ） (2020-06-12T05:00:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。