論文の概要: Privacy Amplification via Iteration for Shuffled and Online PNSGD

• arxiv url: http://arxiv.org/abs/2106.11767v1
• Date: Sun, 20 Jun 2021 17:48:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 15:02:31.564973
• Title: Privacy Amplification via Iteration for Shuffled and Online PNSGD
• Title（参考訳）: シャッフルおよびオンラインPSNGDの反復によるプライバシ増幅
• Authors: Matteo Sordello, Zhiqi Bu, Jinshuo Dong
• Abstract要約: 本稿では,予測雑音勾配勾配(PNSGD)アルゴリズムにより得られるプライバシー保証について検討する。 私たちはまず、新しいデータがオンライン形式で受信された場合、NSGDのプライバシー保証を証明します。 次に、オンライン設定を分析し、プライバシー損失の収束も保証するインジェクトノイズに対して、より高速な減衰方式を提供する。
• 参考スコア（独自算出の注目度）: 9.20002704908405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider the framework of privacy amplification via iteration, which is originally proposed by Feldman et al. and subsequently simplified by Asoodeh et al. in their analysis via the contraction coefficient. This line of work focuses on the study of the privacy guarantees obtained by the projected noisy stochastic gradient descent (PNSGD) algorithm with hidden intermediate updates. A limitation in the existing literature is that only the early stopped PNSGD has been studied, while no result has been proved on the more widely-used PNSGD applied on a shuffled dataset. Moreover, no scheme has been yet proposed regarding how to decrease the injected noise when new data are received in an online fashion. In this work, we first prove a privacy guarantee for shuffled PNSGD, which is investigated asymptotically when the noise is fixed for each sample size $n$ but reduced at a predetermined rate when $n$ increases, in order to achieve the convergence of privacy loss. We then analyze the online setting and provide a faster decaying scheme for the magnitude of the injected noise that also guarantees the convergence of privacy loss.
• Abstract（参考訳）: 本稿では,feldmanらによって提唱された反復によるプライバシ増幅の枠組みについて考察する。 そしてAsoodehらによって単純化された。 収縮係数を通して分析します この一連の研究は、隠れた中間更新を伴う雑音性確率勾配勾配(PNSGD)アルゴリズムによって得られるプライバシー保証の研究に焦点を当てている。 既存の文献では、早期に停止したNSGDのみが研究されているが、より広く使われているNSGDがシャッフルデータセットに適用されることは証明されていない。 また、新しいデータがオンライン形式で受信された場合の注入ノイズの低減方法については、まだ提案されていない。 本研究は,まず,Shuffled PNSGDのプライバシ保証を証明し,サンプルサイズ毎のノイズが$n$で固定されるが,$n$が増加すると所定の速度で低減され,プライバシ損失の収束を実現するための漸近的に検討する。 次に、オンライン設定を分析し、注入されたノイズの大きさのより高速な減衰スキームを提供し、プライバシー損失の収束を保証します。

関連論文リスト

• Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
  そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
  論文  参考訳（メタデータ） (2024-08-08T08:48:54Z)
• Differentially Private Graph Diffusion with Applications in Personalized PageRanks [15.529891375174165]
  本研究は,雑音拡散イテレートを用いてエッジレベルの差分プライバシーを保証する新しいグラフ拡散フレームワークを提案する。 このアルゴリズムは拡散当たりのラプラスノイズを注入し、低次ノードによって誘導される高感度を緩和する度合いベースの閾値関数を採用する。 私たちのプライバシー損失分析は、PABI(Privacy Amplification by Iteration)に基づいています。
  論文  参考訳（メタデータ） (2024-06-22T15:32:53Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses [4.68299658663016]
  Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。 最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。 DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
  論文  参考訳（メタデータ） (2023-05-17T02:25:56Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。