論文の概要: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML
- arxiv url: http://arxiv.org/abs/2405.15913v1
- Date: Fri, 24 May 2024 20:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:10:19.794063
- Title: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML
- Title(参考訳): ディファレンシャル・プライベート・MLにおける帯域行列分解機構のスケールアップ
- Authors: Ryan McKenna,
- Abstract要約: DP-BandMFのリーチを大幅に拡張し,106ドル以上のトレーニングイテレーションで使用可能にする手法を提案する。
拡張実装は、広範な実験と合わせて、最適なバンド数を選択するための明確なガイドラインを提供する。
- 参考スコア(独自算出の注目度): 3.5534933448684134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: DP-BandMF offers a powerful approach to differentially private machine learning, balancing privacy amplification with noise correlation for optimal noise reduction. However, its scalability has been limited to settings where the number of training iterations is less than $10^4$. In this work, we present techniques that significantly extend DP-BandMF's reach, enabling use in settings with and over $10^6$ training iterations. Our enhanced implementation, coupled with extensive experiments, provides clear guidelines on selecting the optimal number of bands. These insights offer practitioners a deeper understanding of DP-BandMF's performance and how to maximize its utility for privacy-preserving machine learning.
- Abstract(参考訳): DP-BandMFは、プライバシー増幅とノイズ相関のバランスをとることで、最適なノイズ低減を実現する。
しかし、そのスケーラビリティは、トレーニングイテレーションの数が10^4$未満の設定に限定されている。
本研究ではDP-BandMFのリーチを大幅に拡張し,10^6ドル以上のトレーニングイテレーションで使用可能な手法を提案する。
拡張実装は、広範な実験と合わせて、最適なバンド数を選択するための明確なガイドラインを提供する。
これらの洞察は、DP-BandMFのパフォーマンスと、プライバシ保護機械学習に対するその有用性を最大化する方法について、実践者に深い理解を与える。
関連論文リスト
- Privacy Amplification for Matrix Mechanisms [18.13715687378337]
MMCCは、一般的な行列機構のサンプリングにより、プライバシの増幅を分析する最初のアルゴリズムである。
標準ベンチマークにおけるDP-FTRLアルゴリズムのプライバシ・ユーティリティトレードオフが大幅に改善されることを示す。
論文 参考訳(メタデータ) (2023-10-24T05:16:52Z) - (Amplified) Banded Matrix Factorization: A unified approach to private
training [15.922315074913255]
差分プライバシ(DP)のための行列分解(MF)機構は、MLアプリケーションにおけるプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善した。
フェデレーションおよび集中型トレーニング設定の両方において、MFが先行技術アルゴリズムをサブスクライブする方法を示す。
論文 参考訳(メタデータ) (2023-06-13T21:53:17Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳(メタデータ) (2023-03-07T22:52:40Z) - Gradient Descent with Linearly Correlated Noise: Theory and Applications
to Differential Privacy [17.81999485513265]
線形相関雑音下での勾配降下について検討する。
我々はこの結果を用いて、微分プライベート最適化のための新しい効果的な行列分解法を開発した。
論文 参考訳(メタデータ) (2023-02-02T23:32:24Z) - Directional Privacy for Deep Learning [2.826489388853448]
Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。
これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
論文 参考訳(メタデータ) (2022-11-09T05:18:08Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Tuning Particle Accelerators with Safety Constraints using Bayesian
Optimization [73.94660141019764]
粒子加速器の機械パラメータのチューニングは反復的で時間を要する作業である。
我々は、安全なベイズ最適化のステップサイズ制限版を提案し、評価する。
論文 参考訳(メタデータ) (2022-03-26T02:21:03Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。