論文の概要: Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning

• arxiv url: http://arxiv.org/abs/2211.06530v2
• Date: Thu, 8 Jun 2023 19:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 18:06:24.466236
• Title: Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning
• Title（参考訳）: プライベート機械学習のためのマルチエポック行列分解機構
• Authors: Christopher A. Choquette-Choo, H. Brendan McMahan, Keith Rush, and Abhradeep Thakurta
• Abstract要約: 本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。 適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
• 参考スコア（独自算出の注目度）: 18.55306294638515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce new differentially private (DP) mechanisms for gradient-based machine learning (ML) with multiple passes (epochs) over a dataset, substantially improving the achievable privacy-utility-computation tradeoffs. We formalize the problem of DP mechanisms for adaptive streams with multiple participations and introduce a non-trivial extension of online matrix factorization DP mechanisms to our setting. This includes establishing the necessary theory for sensitivity calculations and efficient computation of optimal matrices. For some applications like $>\!\! 10,000$ SGD steps, applying these optimal techniques becomes computationally expensive. We thus design an efficient Fourier-transform-based mechanism with only a minor utility loss. Extensive empirical evaluation on both example-level DP for image classification and user-level DP for language modeling demonstrate substantial improvements over all previous methods, including the widely-used DP-SGD . Though our primary application is to ML, our main DP results are applicable to arbitrary linear queries and hence may have much broader applicability.
• Abstract（参考訳）: 本稿では,複数のパス(エポック)をデータセット上に備えた勾配ベース機械学習(ML)のための新たなDP機構を導入し,実現可能なプライバシ・ユーティリティ・コンピューティングトレードオフを大幅に改善する。 適応ストリームに複数参加するDPメカニズムの問題を定式化し、オンライン行列分解DPメカニズムの非自明な拡張を当社の設定に導入する。 これには感度計算に必要な理論と最適行列の効率的な計算が含まれる。 $>\! のようないくつかのアプリケーションについて。 \! 10000ドルのsgdステップでは、これらの最適手法を適用すると計算コストが高くなる。 そこで我々は, 電力損失の少ない効率的なフーリエ変換機構を設計する。 画像分類用サンプルレベルDPと言語モデリング用ユーザレベルDPの両方に対する広範な実証評価は、広く使われているDP-SGDを含む全ての従来の手法よりも大幅に改善されている。 我々の主な応用はMLであるが、主要なDP結果は任意の線形クエリに適用できるため、より広い適用性を持つ可能性がある。

関連論文リスト

• A Hassle-free Algorithm for Private Learning in Practice: Don't Use Tree Aggregation, Use BLTs [4.736297244235246]
  本稿では,最近導入されたBuffered Linear Toeplitz (BLT) メカニズムをマルチ参加シナリオに拡張する。 我々のBLT-DP-FTRLは、木集約の使いやすさを維持しつつ、実用性とプライバシの観点から行列の分解にほぼ一致する。
  論文  参考訳（メタデータ） (2024-08-16T17:52:22Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
  まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。 提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T16:19:37Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Private Online Prefix Sums via Optimal Matrix Factorizations [8.164433158925592]
  特に、オンライン制約下での線形クエリの最適分解を特徴付け、存在、特異性、明示的な表現を導出する。 これらのソリューションは、重要な定数係数によって既存の最先端よりも改善され、ツリーデータ構造の使用によって導入されたアーティファクトのいくつかを避けます。
  論文  参考訳（メタデータ） (2022-02-16T19:39:58Z)
• Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
  低ランク行列近似は機械学習における中心的な概念の1つである。 低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。 重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T22:03:48Z)
• Improved Matrix Gaussian Mechanism for Differential Privacy [29.865497421453917]
  差分プライバシー(DP)メカニズムは、従来のスカラー値ではなく、行列のような構造データのために開発されている。 本研究は,行列値DPのための改良行列ガウス機構 (IMGM) を提案し,その必要十分条件を$(varepsilon,delta) $-differential privacy とした。 行列値DPの正規ノイズ分布のうち、最適ノイズ分布はi.i.dであることが判明した。 さまざまなモデルとデータセットに関する実験も、IMGMが同じプライバシー保証で最先端のメカニズムよりもはるかに高い有用性をもたらすことを検証しています。
  論文  参考訳（メタデータ） (2021-04-30T07:44:53Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。