論文の概要: Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning
- arxiv url: http://arxiv.org/abs/2211.06530v1
- Date: Sat, 12 Nov 2022 00:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 17:04:03.986257
- Title: Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning
- Title（参考訳）: プライベート機械学習のためのマルチエポック行列分解機構
- Authors: Christopher A. Choquette-Choo, H. Brendan McMahan, Keith Rush, and
Abhradeep Thakurta
- Abstract要約: 本稿では,データセットの複数パス(エポック)を含む勾配ベース機械学習(ML)トレーニングのための新たなDP機構を提案する。
我々の重要な貢献は、オンライン行列分解 DP メカニズムを複数の参加者に拡張することである。
- 参考スコア（独自算出の注目度）: 18.55306294638515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce new differentially private (DP) mechanisms for gradient-based
machine learning (ML) training involving multiple passes (epochs) of a dataset,
substantially improving the achievable privacy-utility-computation tradeoffs.
Our key contribution is an extension of the online matrix factorization DP
mechanism to multiple participations, substantially generalizing the approach
of DMRST2022. We first give conditions under which it is possible to reduce the
problem with per-iteration vector contributions to the simpler one of scalar
contributions. Using this, we formulate the construction of optimal (in total
squared error at each iterate) matrix mechanisms for SGD variants as a convex
program. We propose an efficient optimization algorithm via a closed form
solution to the dual function.
While tractable, both solving the convex problem offline and computing the
necessary noise masks during training can become prohibitively expensive when
many training steps are necessary. To address this, we design a
Fourier-transform-based mechanism with significantly less computation and only
a minor utility decrease.
Extensive empirical evaluation on two tasks: example-level DP for image
classification and user-level DP for language modeling, demonstrate substantial
improvements over the previous state-of-the-art. Though our primary application
is to ML, we note our main DP results are applicable to arbitrary linear
queries and hence may have much broader applicability.
- Abstract（参考訳）: 我々は、データセットの複数のパス(エポック)を含む勾配に基づく機械学習(ML)トレーニングのための新しい差分プライベート(DP)メカニズムを導入し、達成可能なプライバシ・ユーティリティ・コンピューティングトレードオフを大幅に改善する。
我々の重要な貢献は、DMRST2022のアプローチを大幅に一般化し、オンライン行列分解DP機構を複数の参加者に拡張することである。
まず、より単純なスカラー貢献に対して、文毎のベクトル貢献で問題を低減できる条件を提示する。
これを用いて、凸プログラムとしてSGD変種に対する最適(各反復点における全二乗誤差)行列機構の構築を定式化する。
双対関数に対する閉形式解による効率的な最適化アルゴリズムを提案する。
扱いやすいが、オフラインで凸問題を解くことと、トレーニング中に必要なノイズマスクを計算することは、多くのトレーニングステップが必要な場合、非常に高価になる。
これに対処するために, 計算量を大幅に削減し, 少ないユーティリティ削減でフーリエ変換ベースの機構を設計する。
画像分類のための例レベルDPと、言語モデリングのためのユーザレベルDPの2つのタスクに対する大規模な実証的評価は、以前の最先端技術よりも大幅に改善されている。
我々の主な応用はMLであるが、主要なDP結果は任意の線形クエリに適用可能であるため、より広い適用性を持つ可能性がある。
関連論文リスト
- A Hassle-free Algorithm for Private Learning in Practice: Don't Use Tree Aggregation, Use BLTs [4.736297244235246]
本稿では,最近導入されたBuffered Linear Toeplitz (BLT) メカニズムをマルチ参加シナリオに拡張する。
我々のBLT-DP-FTRLは、木集約の使いやすさを維持しつつ、実用性とプライバシの観点から行列の分解にほぼ一致する。
論文 参考訳（メタデータ） (2024-08-16T17:52:22Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Non-stationary Reinforcement Learning under General Function
Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。
提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。
SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文 参考訳（メタデータ） (2023-06-01T16:19:37Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳（メタデータ） (2022-10-18T07:03:14Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Private Online Prefix Sums via Optimal Matrix Factorizations [8.164433158925592]
特に、オンライン制約下での線形クエリの最適分解を特徴付け、存在、特異性、明示的な表現を導出する。
これらのソリューションは、重要な定数係数によって既存の最先端よりも改善され、ツリーデータ構造の使用によって導入されたアーティファクトのいくつかを避けます。
論文 参考訳（メタデータ） (2022-02-16T19:39:58Z) - Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
低ランク行列近似は機械学習における中心的な概念の1つである。
低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。
重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T22:03:48Z) - Improved Matrix Gaussian Mechanism for Differential Privacy [29.865497421453917]
差分プライバシー(DP)メカニズムは、従来のスカラー値ではなく、行列のような構造データのために開発されている。
本研究は,行列値DPのための改良行列ガウス機構 (IMGM) を提案し,その必要十分条件を$(varepsilon,delta) $-differential privacy とした。
行列値DPの正規ノイズ分布のうち、最適ノイズ分布はi.i.dであることが判明した。
さまざまなモデルとデータセットに関する実験も、IMGMが同じプライバシー保証で最先端のメカニズムよりもはるかに高い有用性をもたらすことを検証しています。
論文 参考訳（メタデータ） (2021-04-30T07:44:53Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。