論文の概要: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML
- arxiv url: http://arxiv.org/abs/2405.15913v2
- Date: Sat, 28 Sep 2024 00:21:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:00:05.526594
- Title: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML
- Title(参考訳): ディファレンシャル・プライベート・MLにおける帯域行列分解機構のスケールアップ
- Authors: Ryan McKenna,
- Abstract要約: 近縁ノイズメカニズムは、大規模エポジロン小エピック訓練体制におけるDP-SGDの効果的な代替手段であることが証明されている。
現在の最先端のアプローチはDP-BandMFで、プライバシーの増幅とノイズ相関の利点を最適にバランスさせる。
- 参考スコア(独自算出の注目度): 3.5534933448684134
- License:
- Abstract: Correlated noise mechanisms such as DP Matrix Factorization (DP-MF) have proven to be effective alternatives to DP-SGD in large-epsilon few-epoch training regimes. Significant work has been done to find the best correlated noise strategies, and the current state-of-the-art approach is DP-BandMF, which optimally balances the benefits of privacy amplification and noise correlation. Despite it's utility advantages, severe scalability limitations prevent this mechanism from handling large-scale training scenarios where the number of training iterations may exceed $10^4$ and the number of model parameters may exceed $10^7$. In this work, we present techniques to scale up DP-BandMF along these two dimensions, significantly extending it's reach and enabling it to effectively handle settings with over $10^6$ training iterations and $10^9$ model parameters, with negligible utility degradation.
- Abstract(参考訳): DP-MF (DP Matrix Factorization) などの関連ノイズ機構は, 大規模エポジロン数エポジカルトレーニングシステムにおいてDP-SGDの代替として有効であることが証明されている。
現在最先端の手法はDP-BandMFであり、これはプライバシーの増幅とノイズ相関の利点を最適にバランスさせるものである。
実用上の利点はあるものの、このメカニズムが大規模なトレーニングシナリオを扱うのを防ぐため、トレーニングイテレーションの数が10^4$を超え、モデルのパラメータの数が10^7$を超える可能性がある。
本研究では,DP-BandMFをこれらの2次元に沿ってスケールアップする手法を提案する。
関連論文リスト
- Privacy Amplification for Matrix Mechanisms [18.13715687378337]
MMCCは、一般的な行列機構のサンプリングにより、プライバシの増幅を分析する最初のアルゴリズムである。
標準ベンチマークにおけるDP-FTRLアルゴリズムのプライバシ・ユーティリティトレードオフが大幅に改善されることを示す。
論文 参考訳(メタデータ) (2023-10-24T05:16:52Z) - (Amplified) Banded Matrix Factorization: A unified approach to private
training [15.922315074913255]
差分プライバシ(DP)のための行列分解(MF)機構は、MLアプリケーションにおけるプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善した。
フェデレーションおよび集中型トレーニング設定の両方において、MFが先行技術アルゴリズムをサブスクライブする方法を示す。
論文 参考訳(メタデータ) (2023-06-13T21:53:17Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳(メタデータ) (2023-03-07T22:52:40Z) - Gradient Descent with Linearly Correlated Noise: Theory and Applications
to Differential Privacy [17.81999485513265]
線形相関雑音下での勾配降下について検討する。
我々はこの結果を用いて、微分プライベート最適化のための新しい効果的な行列分解法を開発した。
論文 参考訳(メタデータ) (2023-02-02T23:32:24Z) - Directional Privacy for Deep Learning [2.826489388853448]
Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。
これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
論文 参考訳(メタデータ) (2022-11-09T05:18:08Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Tuning Particle Accelerators with Safety Constraints using Bayesian
Optimization [73.94660141019764]
粒子加速器の機械パラメータのチューニングは反復的で時間を要する作業である。
我々は、安全なベイズ最適化のステップサイズ制限版を提案し、評価する。
論文 参考訳(メタデータ) (2022-03-26T02:21:03Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。