Fugu-MT 論文翻訳(概要): Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML

論文の概要: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML

arxiv url: http://arxiv.org/abs/2405.15913v1
Date: Fri, 24 May 2024 20:19:15 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 02:10:19.794063
Title: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML
Title（参考訳）: ディファレンシャル・プライベート・MLにおける帯域行列分解機構のスケールアップ
Authors: Ryan McKenna,
Abstract要約: DP-BandMFのリーチを大幅に拡張し,106ドル以上のトレーニングイテレーションで使用可能にする手法を提案する。拡張実装は、広範な実験と合わせて、最適なバンド数を選択するための明確なガイドラインを提供する。
参考スコア（独自算出の注目度）: 3.5534933448684134
License: http://creativecommons.org/licenses/by/4.0/
Abstract: DP-BandMF offers a powerful approach to differentially private machine learning, balancing privacy amplification with noise correlation for optimal noise reduction. However, its scalability has been limited to settings where the number of training iterations is less than $10^4$. In this work, we present techniques that significantly extend DP-BandMF's reach, enabling use in settings with and over $10^6$ training iterations. Our enhanced implementation, coupled with extensive experiments, provides clear guidelines on selecting the optimal number of bands. These insights offer practitioners a deeper understanding of DP-BandMF's performance and how to maximize its utility for privacy-preserving machine learning.
Abstract（参考訳）: DP-BandMFは、プライバシー増幅とノイズ相関のバランスをとることで、最適なノイズ低減を実現する。しかし、そのスケーラビリティは、トレーニングイテレーションの数が10^4$未満の設定に限定されている。本研究ではDP-BandMFのリーチを大幅に拡張し,10^6ドル以上のトレーニングイテレーションで使用可能な手法を提案する。拡張実装は、広範な実験と合わせて、最適なバンド数を選択するための明確なガイドラインを提供する。これらの洞察は、DP-BandMFのパフォーマンスと、プライバシ保護機械学習に対するその有用性を最大化する方法について、実践者に深い理解を与える。

関連論文リスト

Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文参考訳（メタデータ） (2024-10-17T11:46:33Z)
LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models [31.718398512438238]
本稿では,LMO-DP(Language Model-based Optimal Differential Privacy)機構を提案する。これは、最適化された言語モデルの厳密な構成を、サブ最適DPメカニズムで実現するための第一歩である。 LMO-DPはまた、強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。
論文参考訳（メタデータ） (2024-05-29T05:32:50Z)
Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文参考訳（メタデータ） (2024-05-02T03:48:47Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
(Amplified) Banded Matrix Factorization: A unified approach to private training [15.922315074913255]
差分プライバシ(DP)のための行列分解(MF)機構は、MLアプリケーションにおけるプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善した。フェデレーションおよび集中型トレーニング設定の両方において、MFが先行技術アルゴリズムをサブスクライブする方法を示す。
論文参考訳（メタデータ） (2023-06-13T21:53:17Z)
Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文参考訳（メタデータ） (2023-06-01T16:19:37Z)
Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning [18.55306294638515]
本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
論文参考訳（メタデータ） (2022-11-12T00:41:11Z)
Private, Efficient, and Accurate: Protecting Models Trained by Multi-party Learning with Differential Privacy [8.8480262507008]
セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。 TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。 PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
論文参考訳（メタデータ） (2022-08-18T06:48:25Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Covert Model Poisoning Against Federated Learning: Algorithm Design and Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文参考訳（メタデータ） (2021-01-28T03:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。