Fugu-MT 論文翻訳(概要): Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML

論文の概要: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML

arxiv url: http://arxiv.org/abs/2405.15913v2
Date: Sat, 28 Sep 2024 00:21:49 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-01 22:00:05.526594
Title: Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML
Title（参考訳）: ディファレンシャル・プライベート・MLにおける帯域行列分解機構のスケールアップ
Authors: Ryan McKenna,
Abstract要約: 近縁ノイズメカニズムは、大規模エポジロン小エピック訓練体制におけるDP-SGDの効果的な代替手段であることが証明されている。現在の最先端のアプローチはDP-BandMFで、プライバシーの増幅とノイズ相関の利点を最適にバランスさせる。
参考スコア（独自算出の注目度）: 3.5534933448684134
License:
Abstract: Correlated noise mechanisms such as DP Matrix Factorization (DP-MF) have proven to be effective alternatives to DP-SGD in large-epsilon few-epoch training regimes. Significant work has been done to find the best correlated noise strategies, and the current state-of-the-art approach is DP-BandMF, which optimally balances the benefits of privacy amplification and noise correlation. Despite it's utility advantages, severe scalability limitations prevent this mechanism from handling large-scale training scenarios where the number of training iterations may exceed $10^4$ and the number of model parameters may exceed $10^7$. In this work, we present techniques to scale up DP-BandMF along these two dimensions, significantly extending it's reach and enabling it to effectively handle settings with over $10^6$ training iterations and $10^9$ model parameters, with negligible utility degradation.
Abstract（参考訳）: DP-MF (DP Matrix Factorization) などの関連ノイズ機構は, 大規模エポジロン数エポジカルトレーニングシステムにおいてDP-SGDの代替として有効であることが証明されている。現在最先端の手法はDP-BandMFであり、これはプライバシーの増幅とノイズ相関の利点を最適にバランスさせるものである。実用上の利点はあるものの、このメカニズムが大規模なトレーニングシナリオを扱うのを防ぐため、トレーニングイテレーションの数が10^4$を超え、モデルのパラメータの数が10^7$を超える可能性がある。本研究では,DP-BandMFをこれらの2次元に沿ってスケールアップする手法を提案する。

関連論文リスト

Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文参考訳（メタデータ） (2024-10-17T11:46:33Z)
LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models [31.718398512438238]
本稿では,LMO-DP(Language Model-based Optimal Differential Privacy)機構を提案する。これは、最適化された言語モデルの厳密な構成を、サブ最適DPメカニズムで実現するための第一歩である。 LMO-DPはまた、強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。
論文参考訳（メタデータ） (2024-05-29T05:32:50Z)
Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文参考訳（メタデータ） (2024-05-02T03:48:47Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
(Amplified) Banded Matrix Factorization: A unified approach to private training [15.922315074913255]
差分プライバシ(DP)のための行列分解(MF)機構は、MLアプリケーションにおけるプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善した。フェデレーションおよび集中型トレーニング設定の両方において、MFが先行技術アルゴリズムをサブスクライブする方法を示す。
論文参考訳（メタデータ） (2023-06-13T21:53:17Z)
Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文参考訳（メタデータ） (2023-06-01T16:19:37Z)
Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning [18.55306294638515]
本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
論文参考訳（メタデータ） (2022-11-12T00:41:11Z)
Private, Efficient, and Accurate: Protecting Models Trained by Multi-party Learning with Differential Privacy [8.8480262507008]
セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。 TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。 PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
論文参考訳（メタデータ） (2022-08-18T06:48:25Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Covert Model Poisoning Against Federated Learning: Algorithm Design and Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文参考訳（メタデータ） (2021-01-28T03:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。