論文の概要: LazyDP: Co-Designing Algorithm-Software for Scalable Training of Differentially Private Recommendation Models

• arxiv url: http://arxiv.org/abs/2404.08847v1
• Date: Fri, 12 Apr 2024 23:32:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 18:22:57.618619
• Title: LazyDP: Co-Designing Algorithm-Software for Scalable Training of Differentially Private Recommendation Models
• Title（参考訳）: LazyDP: 個人別推薦モデルのスケーラブルトレーニングのための協調設計アルゴリズムソフト
• Authors: Juntaek Lim, Youngeun Kwon, Ranggi Hwang, Kiwan Maeng, G. Edward Suh, Minsoo Rhu,
• Abstract要約: 本稿ではDP-SGDを用いたプライベートRecSysトレーニングの特性について述べる。 本稿では,RecSysをDP-SGDでトレーニングする際の計算とメモリの問題に対処するアルゴリズムとソフトウェアの共同設計であるLazyDPを提案する。 最先端のDP-SGDトレーニングシステムと比較して,LazyDPが平均119倍のトレーニングスループット向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 8.92538797216985
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Differential privacy (DP) is widely being employed in the industry as a practical standard for privacy protection. While private training of computer vision or natural language processing applications has been studied extensively, the computational challenges of training of recommender systems (RecSys) with DP have not been explored. In this work, we first present our detailed characterization of private RecSys training using DP-SGD, root-causing its several performance bottlenecks. Specifically, we identify DP-SGD's noise sampling and noisy gradient update stage to suffer from a severe compute and memory bandwidth limitation, respectively, causing significant performance overhead in training private RecSys. Based on these findings, we propose LazyDP, an algorithm-software co-design that addresses the compute and memory challenges of training RecSys with DP-SGD. Compared to a state-of-the-art DP-SGD training system, we demonstrate that LazyDP provides an average 119x training throughput improvement while also ensuring mathematically equivalent, differentially private RecSys models to be trained.
• Abstract（参考訳）: 差別化プライバシ(DP)は、プライバシ保護の実用的な標準として、業界で広く採用されている。 コンピュータビジョンや自然言語処理アプリケーションのプライベートトレーニングは広く研究されているが,DPを用いたレコメンダシステム(RecSys)のトレーニングにおける計算上の課題は研究されていない。 本稿では,DP-SGD を用いたプライベート RecSys トレーニングの詳細な特徴について述べる。 具体的には、DP-SGDのノイズサンプリングとノイズ勾配更新の段階で、それぞれ重度の計算とメモリ帯域幅制限に悩まされており、プライベートRecSysのトレーニングにおいて大きなパフォーマンス上のオーバーヘッドが生じる。 そこで本研究では,RecSysをDP-SGDでトレーニングする際の計算とメモリの問題に対処するアルゴリズムとソフトウェアの共同設計であるLazyDPを提案する。 最新のDP-SGDトレーニングシステムと比較すると,LazyDPは平均119倍のトレーニングスループット向上を実現し,数学的に等価で微分プライベートなRecSysモデルをトレーニングできるようにする。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)
• DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
  DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-02T06:33:14Z)
• Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
  DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。 本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-05T06:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。