Fugu-MT 論文翻訳(概要): A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences

論文の概要: A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences

arxiv url: http://arxiv.org/abs/2001.05990v1
Date: Thu, 16 Jan 2020 18:45:05 GMT
ステータス: 処理完了
システム内更新日: 2023-01-11 00:13:14.231525
Title: A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences
Title（参考訳）: a better boundが100ラウンドを提供:$f$-divergencesによるプライバシー保証強化
Authors: Shahab Asoodeh, Jiachun Liao, Flavio P. Calmon, Oliver Kosut, Lalitha Sankar
Abstract要約: 我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
参考スコア（独自算出の注目度）: 14.008231249756678
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We derive the optimal differential privacy (DP) parameters of a mechanism that satisfies a given level of R\'enyi differential privacy (RDP). Our result is based on the joint range of two $f$-divergences that underlie the approximate and the R\'enyi variations of differential privacy. We apply our result to the moments accountant framework for characterizing privacy guarantees of stochastic gradient descent. When compared to the state-of-the-art, our bounds may lead to about 100 more stochastic gradient descent iterations for training deep learning models for the same privacy budget.
Abstract（参考訳）: R'enyi差分プライバシー(RDP)のレベルを満たすメカニズムの最適な差分プライバシー(DP)パラメータを導出する。我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f$-divergencesの合同範囲に基づいている。この結果をmoments accountant frameworkに適用し,確率的勾配降下のプライバシー保証を特徴付ける。最新技術と比較すると、同じプライバシー予算でディープラーニングモデルをトレーニングするために、私たちの限界は100回ほど確率的な勾配降下イテレーションにつながります。

関連論文リスト

Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文参考訳（メタデータ） (2023-05-24T13:44:02Z)
SA-DPSGD: Differentially Private Stochastic Gradient Descent based on Simulated Annealing [25.25065807901922]
差分勾配降下法は画像認識における差分プライバシーを持つ最も一般的な訓練法である。既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。本稿では, 更新品質とイテレーション数に依存する確率で, 候補更新を受理するSA-DPSGD(Simulated annealing-based differentially private gradient descent scheme)を提案する。
論文参考訳（メタデータ） (2022-11-14T09:20:48Z)
Directional Privacy for Deep Learning [2.826489388853448]
Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
論文参考訳（メタデータ） (2022-11-09T05:18:08Z)
Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文参考訳（メタデータ） (2022-09-09T08:54:13Z)
Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文参考訳（メタデータ） (2022-06-06T13:49:37Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-09-18T20:18:35Z)
Three Variants of Differential Privacy: Lossless Conversion and Applications [13.057076084452016]
本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
論文参考訳（メタデータ） (2020-08-14T18:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。