論文の概要: FERRET: Private Deep Learning Faster And Better Than DPSGD

• arxiv url: http://arxiv.org/abs/2506.05416v1
• Date: Wed, 04 Jun 2025 21:18:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.142751
• Title: FERRET: Private Deep Learning Faster And Better Than DPSGD
• Title（参考訳）: FERRET:プライベートなディープラーニングはDPSGDより高速で高速
• Authors: David Zagardo,
• Abstract要約: FERRETは[0.1, 2]のエプシロンのMI-DPを付加雑音なしで達成できることを示す。 FERRETはDPSGDに比べて最大5倍速く、3倍低いパープレキシティを持ち、非DPより1.2倍大きい。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We revisit 1-bit gradient compression through the lens of mutual-information differential privacy (MI-DP). Building on signSGD, we propose FERRET--Fast and Effective Restricted Release for Ethical Training--which transmits at most one sign bit per parameter group with Bernoulli masking. Theory: We prove each fired group leaks at most ln 2 nats; after subsampling with rate s, the total privacy loss of G groups trained for T steps with firing probability p is epsilon = G * T * s * p * ln 2. Thus FERRET achieves MI-DP for epsilon in [0.1, 2] without additive noise. Practice: We evaluate three granularities--FERRET-MAX (finest), FERRET-EIGHTH (medium), and FERRET-2 (coarsest)--on five LLMs (137M-1.8B parameters) against DPSGD and Non-DP baselines. All methods trained for 1, 3, and 5 epochs. Utility: Across all settings, FERRET-MAX/EIGHTH beat DPSGD's perplexity. At epsilon=0.5, 5 epochs: FERRET-EIGHTH achieves 3.98 perplexity vs DPSGD's 11.61 (2.9x better), within 23% of Non-DP (3.25). Privacy: MI-AUC stays at chance for FERRET-MAX/EIGHTH (~0.51), matching DPSGD vs Non-DP's 0.76-0.99. FERRET-2 shows higher leakage (~0.55) due to lower headroom. Efficiency: Stricter budgets fire fewer signs, so FERRET uses 19-33% of DPSGD's training time and only 34-36% of Non-DP training time. Take-away: Sign-based MI-DP gets closer to achieving all three qualities of the privacy, utility, performance trilemma: FERRET trains up to 5x faster, achieves 3x lower perplexity compared to DPSGD and 1.2x greater than Non-DP, all while providing formal, mathematically provable privacy guarantees using zero additive noise. The results also show that, in certain instances, masked 1-bit updates can match non-private training utility while safeguarding data.
• Abstract（参考訳）: 相互情報差分プライバシー(MI-DP)のレンズによる1ビット勾配圧縮を再検討する。 signSGDに基づいてferRET-Fast and Effective Restricted Release for Ethical Trainingを提案する。 理論: 各点火群リークを少なくとも ln 2 nats で証明する; レート s でサブサンプリングした後、発射確率 p の T 段で訓練された G 群の合計プライバシー損失は epsilon = G * T * s * p * ln 2 である。 FERRETは[0.1, 2]のエプシロンのMI-DPを付加雑音なしで達成する。 実践: DPSGD, 非DPベースラインに対して, FERRET-MAX(最良), FERRET-EIGHTH(中小), FERRET-2(最良)の3つの粒度を評価する。 1, 3, 5エポックで訓練されたすべての方法。 ユーティリティ:すべての設定で、FERRET-MAX/EIGHTHはDPSGDの難易度を上回ります。 エプシロン=0.5では、FERRET-EIGHTHが3.98パープレキシティ、DPSGDの11.61(2.9倍)、非DPの23%で達成される(3.25)。 プライバシー: MI-AUC は FERRET-MAX/EIGHTH (~0.51) の確率に留まり、DPSGD と Non-DP の 0.76-0.99 と一致する。 FERRET-2は、低いヘッドルームのため、より高いリーク(0.55)を示す。 効率性: Stricter の予算はより少ないため、FERRET は DPSGD の訓練時間の19-33%、非DP の訓練時間の34-36% しか使用していない。 FERRETは最大5倍高速で、DPSGDよりも3倍、非DPより1.2倍低いパープレキシティを実現します。 また、一部のケースでは、マスクされた1ビットのアップデートは、データを保護しながらプライベートでないトレーニングユーティリティにマッチする。

関連論文リスト

• Noisy Data Meets Privacy: Training Local Models with Post-Processed Remote Queries [7.993286956508782]
  LDPKiTは、プライベートデータ配信に合わせたプライバシ保護推論データセットを生成する。 Fashion-MNIST、SVHN、PathMNISTの医療データセットの実験は、LDPKiTがプライバシーを維持しながら有効性を向上させることを示した。
  論文  参考訳（メタデータ） (2024-05-25T21:53:58Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Are Normalizing Flows the Key to Unlocking the Exponential Mechanism? [0.8324691721547202]
  指数メカニズム(ExpM)は、歴史的に連続的なサンプル空間での使用から傍観されてきた。 本稿では,プライベート最適化とプライベート機械学習(ML)のためのExpMの運用を提案する。 SGD, DPSGD, ExpM+NF訓練法の精度とトレーニング時間をMIMIC-III健康データと比較した。
  論文  参考訳（メタデータ） (2023-11-15T18:43:29Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)
• DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass [22.578388829171157]
  DP-フォワードの摂動は言語モデルの前方通過に埋め込まれる。 ほぼ民間のベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
  論文  参考訳（メタデータ） (2023-09-13T06:37:53Z)
• Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes [78.27542864367821]
  強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。 ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。 線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T17:44:09Z)
• Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification [151.62491805851107]
  私たちは、ニューロン毎の分割を完全にエンコードできるバウンド伝搬ベースの検証器である$beta$-crownを開発した。 Beta$-CROWNはLPベースのBaB法よりも3桁近い速さで堅牢性検証が可能です。 BaBを早期に終了することにより、不完全な検証にも使用できます。
  論文  参考訳（メタデータ） (2021-03-11T11:56:54Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。