論文の概要: Convergence of Gradient Descent with Linearly Correlated Noise and Applications to Differentially Private Learning

• arxiv url: http://arxiv.org/abs/2302.01463v1
• Date: Thu, 2 Feb 2023 23:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 17:58:04.815241
• Title: Convergence of Gradient Descent with Linearly Correlated Noise and Applications to Differentially Private Learning
• Title（参考訳）: 線形相関雑音による勾配降下の収束と微分プライベート学習への応用
• Authors: Anastasia Koloskova, Ryan McKenna, Zachary Charles, Keith Rush, Brendan McMahan
• Abstract要約: 本稿では、DP-FTRLが分解機構を介してノイズを注入する方法を示す。 我々はこれらの因子化の利点を理論的および経験的に強調する。
• 参考スコア（独自算出の注目度）: 13.999481573773071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study stochastic optimization with linearly correlated noise. Our study is motivated by recent methods for optimization with differential privacy (DP), such as DP-FTRL, which inject noise via matrix factorization mechanisms. We propose an optimization problem that distils key facets of these DP methods and that involves perturbing gradients by linearly correlated noise. We derive improved convergence rates for gradient descent in this framework for convex and non-convex loss functions. Our theoretical analysis is novel and might be of independent interest. We use these convergence rates to develop new, effective matrix factorizations for differentially private optimization, and highlight the benefits of these factorizations theoretically and empirically.
• Abstract（参考訳）: 線形相関雑音を用いた確率最適化について検討する。 本研究は,行列分解機構を介してノイズを注入するDP-FTRLなど,近年の差分プライバシ(DP)最適化手法によって動機付けられている。 本稿では,これらのDP手法の鍵面を除去し,線形相関雑音による摂動勾配を含む最適化問題を提案する。 凸損失関数と非凸損失関数の枠組みにおける勾配降下の収束率の向上を導出する。 我々の理論分析は新しく、独立した関心を持つかもしれない。 これらの収束率を用いて、微分的プライベート最適化のための新しい効率的な行列因子分解を開発し、理論的および経験的にこれらの因子分解の利点を強調する。

関連論文リスト

• Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
  差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。 プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。 本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
  論文  参考訳（メタデータ） (2024-10-25T19:32:58Z)
• Correlated Noise Provably Beats Independent Noise for Differentially Private Learning [25.81442865194914]
  異なるプライベート学習アルゴリズムは学習プロセスにノイズを注入する。 問題パラメータの関数として,バニラ-SGDの相関ノイズがいかに改善するかを示す。
  論文  参考訳（メタデータ） (2023-10-10T16:48:18Z)
• Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
  クリッピング閾値を動的に最適化する新しい手法を提案する。 我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。 提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
  論文  参考訳（メタデータ） (2023-10-02T00:30:49Z)
• Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles [34.32021888691789]
  雑音の多い最小二乗尾根アンサンブルにおける特徴バッグングの理論を開発する。 サブサンプリングは線形予測器の2Dピークをシフトすることを示した。 特徴サブサンプリングアンサンブルの性能を1つの線形予測器と比較する。
  論文  参考訳（メタデータ） (2023-07-06T17:56:06Z)
• Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
  付加雑音は学習モデルの性能に影響を与えないことを示す。 これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
  論文  参考訳（メタデータ） (2022-10-26T10:00:14Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。