論文の概要: On the Differentially Private Nature of Perturbed Gradient Descent
- arxiv url: http://arxiv.org/abs/2101.06847v1
- Date: Mon, 18 Jan 2021 02:29:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 05:50:39.822501
- Title: On the Differentially Private Nature of Perturbed Gradient Descent
- Title（参考訳）: 摂動勾配降下の微分的にプライベートな性質について
- Authors: Thulasi Tholeti, Sheetal Kalyani
- Abstract要約: 勾配降下アルゴリズムを用いて,データベースを与えられた経験的最小化の問題を考える。
勾配降下アルゴリズムは典型的には差分サドル点から逃れるために用いられる。
- 参考スコア（独自算出の注目度）: 15.554148012395457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of empirical risk minimization given a database,
using the gradient descent algorithm. We note that the function to be optimized
may be non-convex, consisting of saddle points which impede the convergence of
the algorithm. A perturbed gradient descent algorithm is typically employed to
escape these saddle points. We show that this algorithm, that perturbs the
gradient, inherently preserves the privacy of the data. We then employ the
differential privacy framework to quantify the privacy hence achieved. We also
analyze the change in privacy with varying parameters such as problem dimension
and the distance between the databases.
- Abstract（参考訳）: 勾配降下アルゴリズムを用いて,データベースを与えられた経験的リスク最小化の問題を考える。
最適化される関数は、アルゴリズムの収束を妨げる鞍点からなる非凸であるかもしれないことに注意する。
摂動勾配降下アルゴリズムは典型的にはこれらのサドル点から逃れるために用いられる。
勾配を乱すこのアルゴリズムは本質的にデータのプライバシーを保っていることを示す。
次に、得られたプライバシーを定量化するために、差分プライバシーフレームワークを使用します。
また,問題次元やデータベース間の距離といったパラメータによって,プライバシーの変化を分析する。
関連論文リスト
- Improved Differentially Private Regression via Gradient Boosting [38.09948758699131]
勾配向上に基づく線形回帰法を新たに提案する。
包括的な実験に加えて、この振る舞いを説明する理論的洞察を与える。
論文 参考訳（メタデータ） (2023-03-06T19:20:52Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Private Domain Adaptation from a Public Source [48.83724068578305]
我々は、公開ラベル付きデータを持つソースドメインから、未ラベル付きプライベートデータを持つターゲットドメインへの適応のための差分プライベート離散性に基づくアルゴリズムを設計する。
我々の解は、Frank-WolfeとMirror-Descentアルゴリズムのプライベートな変種に基づいている。
論文 参考訳（メタデータ） (2022-08-12T06:52:55Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-10-14T15:02:20Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z) - Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient
Descent [10.409652277630132]
我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。
プライバシーの損失は指数関数的に速く収束する。
論文 参考訳（メタデータ） (2021-02-11T05:49:37Z) - Privacy Analysis of Online Learning Algorithms via Contraction
Coefficients [5.333582981327498]
差分プライバシー保証は、$f$-divergencesの強いデータ処理の不等式から導かれる収縮係数の直接適用によって決定できることを示す。
また、このフレームワークは、トレーニングデータセットをワンパスで実装できるバッチ学習アルゴリズムに調整可能であることも示しています。
論文 参考訳（メタデータ） (2020-12-20T22:02:15Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z) - Privacy Amplification of Iterative Algorithms via Contraction
Coefficients [3.5270468102327004]
本稿では、情報理論レンズを用いて、Feldmanらによって最近提案された反復によるプライバシー増幅の枠組みについて検討する。
本稿では,データ処理の不等式を$f$-divergencesで求めることによって,データ処理の不等式から導かれる収縮係数の直接適用により,反復写像の差分プライバシー保証が決定できることを実証する。
論文 参考訳（メタデータ） (2020-01-17T22:06:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。