論文の概要: Privacy Amplification by Iteration for ADMM with (Strongly) Convex Objective Functions

• arxiv url: http://arxiv.org/abs/2312.08685v1
• Date: Thu, 14 Dec 2023 06:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:45:14.979671
• Title: Privacy Amplification by Iteration for ADMM with (Strongly) Convex Objective Functions
• Title（参考訳）: 厳密な)凸目的関数を持つADMMの反復によるプライバシ増幅
• Authors: T-H. Hubert Chan and Hao Xie and Mengshi Zhao
• Abstract要約: 主対数反復法である強凸目的のためのプライベートADMM変種について検討する。 我々の主な成果は、勾配ADMM変種に対するプライバシー保証が反復回数に比例して増幅可能であることである。
• 参考スコア（独自算出の注目度）: 5.394357622861553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine a private ADMM variant for (strongly) convex objectives which is a primal-dual iterative method. Each iteration has a user with a private function used to update the primal variable, masked by Gaussian noise for local privacy, without directly adding noise to the dual variable. Privacy amplification by iteration explores if noises from later iterations can enhance the privacy guarantee when releasing final variables after the last iteration. Cyffers et al. [ICML 2023] explored privacy amplification by iteration for the proximal ADMM variant, where a user's entire private function is accessed and noise is added to the primal variable. In contrast, we examine a private ADMM variant requiring just one gradient access to a user's function, but both primal and dual variables must be passed between successive iterations. To apply Balle et al.'s [NeurIPS 2019] coupling framework to the gradient ADMM variant, we tackle technical challenges with novel ideas. First, we address the non-expansive mapping issue in ADMM iterations by using a customized norm. Second, because the dual variables are not masked with any noise directly, their privacy guarantees are achieved by treating two consecutive noisy ADMM iterations as a Markov operator. Our main result is that the privacy guarantee for the gradient ADMM variant can be amplified proportionally to the number of iterations. For strongly convex objective functions, this amplification exponentially increases with the number of iterations. These amplification results align with the previously studied special case of stochastic gradient descent.
• Abstract（参考訳）: 一次二重反復法である(強く)凸目的のためのプライベートADMM変種について検討する。 各イテレーションには、プリミティブ変数の更新に使用するプライベート機能を持つユーザがあり、ローカルプライバシのガウスノイズに隠れているため、デュアル変数にノイズを直接追加する必要はない。 イテレーションによるプライバシ増幅は、後回のイテレーションからのノイズが最後のイテレーションの後に最終変数をリリースする際のプライバシ保証を強化するかどうかを探求する。 Cyffersなど。 ICML 2023]は,ユーザのプライベート機能全体がアクセスされ,プライマリ変数にノイズが付加される,近位ADMM変種に対する繰り返しによるプライバシ増幅を探索した。 対照的に、ユーザ関数への1つの勾配アクセスを必要とするプライベートadmm変種について検討するが、主変数と双対変数は連続する反復の間に渡さなければならない。 Balle氏らによる[NeurIPS 2019]結合フレームワークを勾配ADMMの変種に適用するために、新しいアイデアで技術的な課題に取り組む。 まず、ADMMイテレーションにおける拡張性のないマッピング問題に、カスタマイズされたノルムを用いて対処する。 第二に、二重変数は直接ノイズを隠蔽しないため、2つの連続ノイズADMMイテレーションをマルコフ演算子として扱うことにより、それらのプライバシー保証が達成される。 我々の主な成果は、勾配ADMM変種に対するプライバシー保証が反復回数に比例して増幅可能であることである。 強凸目的関数の場合、この増幅は反復数によって指数関数的に増加する。 これらの増幅結果は、前述した確率勾配降下の特別な場合と一致する。

関連論文リスト

• Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
  本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。 参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。 プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
  論文  参考訳（メタデータ） (2023-06-24T16:13:28Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss [34.66940399825547]
  業界は単純なアルゴリズムを広く採用している:騒音を伴うグラディエントDescent(グラディエントLangevin Dynamics) このアルゴリズムのプライバシ損失に関する疑問は、バウンドドメイン上の滑らかな凸損失の一見単純な設定であっても、まだオープンである。 我々は、差分プライバシーを一定の要因まで特徴づけ、小さなバーンイン期間の後、SGDの実行がこれ以上のプライバシーを漏らさないことを示す。
  論文  参考訳（メタデータ） (2022-05-27T02:09:55Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Differentially Private ADMM Algorithms for Machine Learning [38.648113004535155]
  勾配摂動による乗算器(ADMM)の高効率な個人交互方向法について検討した。 差分型ADMM(DP-ADMM)アルゴリズムを提案し,性能保証を$(epsilon,delta)$-differential privacy とする。
  論文  参考訳（メタデータ） (2020-10-31T01:37:24Z)
• Towards Plausible Differentially Private ADMM Based Distributed Machine Learning [27.730535587906168]
  本稿では,PP-ADMM と IPP-ADMM という,可塑性差分ADMM アルゴリズムを提案する。 同じプライバシ保証の下では、提案アルゴリズムはモデル精度と収束率の観点から、最先端技術である。
  論文  参考訳（メタデータ） (2020-08-11T03:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。