論文の概要: Sparsity-Preserving Differentially Private Training of Large Embedding Models

• arxiv url: http://arxiv.org/abs/2311.08357v1
• Date: Tue, 14 Nov 2023 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 13:16:04.800890
• Title: Sparsity-Preserving Differentially Private Training of Large Embedding Models
• Title（参考訳）: スパルシリティ保存型大規模埋め込みモデルの微分プライベートトレーニング
• Authors: Badih Ghazi, Yangsibo Huang, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang
• Abstract要約: DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 67.29926605156788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the use of large embedding models in recommendation systems and language applications increases, concerns over user data privacy have also risen. DP-SGD, a training algorithm that combines differential privacy with stochastic gradient descent, has been the workhorse in protecting user privacy without compromising model accuracy by much. However, applying DP-SGD naively to embedding models can destroy gradient sparsity, leading to reduced training efficiency. To address this issue, we present two new algorithms, DP-FEST and DP-AdaFEST, that preserve gradient sparsity during private training of large embedding models. Our algorithms achieve substantial reductions ($10^6 \times$) in gradient size, while maintaining comparable levels of accuracy, on benchmark real-world datasets.
• Abstract（参考訳）: レコメンデーションシステムや言語アプリケーションにおける大規模組み込みモデルの使用が増加するにつれて、ユーザデータのプライバシに関する懸念も高まっている。 差分プライバシーと確率勾配勾配勾配を併用したトレーニングアルゴリズムDP-SGDは,モデルの精度を著しく損なうことなく,ユーザのプライバシを保護する作業場となっている。 しかし, DP-SGDをネーティブに埋め込みモデルに適用すると, 勾配幅が破壊され, トレーニング効率が低下する。 この問題に対処するために,大規模埋め込みモデルのプライベートトレーニング中に勾配間隔を保ったDP-FESTとDP-AdaFESTという2つの新しいアルゴリズムを提案する。 我々のアルゴリズムは、ベンチマーク実世界のデータセット上で、同等の精度を維持しながら、勾配サイズの大幅な削減(10^6 \times$)を達成する。

関連論文リスト

• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
  ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。 差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。 より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
  論文  参考訳（メタデータ） (2024-09-25T17:59:32Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models [7.49320945341034]
  小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。 私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
  論文  参考訳（メタデータ） (2023-01-30T17:43:47Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
  本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T16:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。