論文の概要: DPZero: Dimension-Independent and Differentially Private Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2310.09639v1
• Date: Sat, 14 Oct 2023 18:42:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 19:11:10.368735
• Title: DPZero: Dimension-Independent and Differentially Private Zeroth-Order Optimization
• Title（参考訳）: DPZero:次元独立・微分プライベートゼロ階最適化
• Authors: Liang Zhang, Kiran Koshy Thekumparampil, Sewoong Oh, Niao He
• Abstract要約: ドメイン固有のデータに対する微調整済みの大規模言語モデル(LLM)は、メモリとプライバシの2つの大きな課題に直面している。 DPZeroは, ほぼ次元に依存しない, 微分的にプライベートなゼロ階次アルゴリズムである。
• 参考スコア（独自算出の注目度）: 50.74615156751501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread practice of fine-tuning pretrained large language models (LLMs) on domain-specific data faces two major challenges in memory and privacy. First, as the size of LLMs continue to grow, encompassing billions of parameters, the memory demands of gradient-based training methods via backpropagation become prohibitively high. Second, given the tendency of LLMs to memorize and disclose sensitive training data, the privacy of fine-tuning data must be respected. To this end, we explore the potential of zeroth-order methods in differentially private optimization for fine-tuning LLMs. Zeroth-order methods, which rely solely on forward passes, substantially reduce memory consumption during training. However, directly combining them with standard differential privacy mechanism poses dimension-dependent complexity. To bridge the gap, we introduce DPZero, a novel differentially private zeroth-order algorithm with nearly dimension-independent rates. Our theoretical analysis reveals that its complexity hinges primarily on the problem's intrinsic dimension and exhibits only a logarithmic dependence on the ambient dimension. This renders DPZero a highly practical option for real-world LLMs deployments.
• Abstract（参考訳）: ドメイン固有データに対する微調整済みの大規模言語モデル(LLM)の広範な実践は、メモリとプライバシの2つの大きな課題に直面している。 第一に、LLMのサイズが数十億のパラメータを包含して成長し続けるにつれて、バックプロパゲーションによる勾配に基づくトレーニング手法のメモリ要求は禁じられるほど高くなる。 第2に,llmがセンシティブなトレーニングデータを記憶し開示する傾向から,微調整データのプライバシを尊重する必要がある。 この目的のために、微調整LDMの微分プライベート最適化におけるゼロ階法の可能性について検討する。 前方パスのみに依存するゼロ次メソッドは、トレーニング中のメモリ消費を大幅に削減する。 しかし、それらを標準微分プライバシー機構と直接結合することは次元依存の複雑さをもたらす。 このギャップを埋めるために,次元非依存率の差動的ゼロ次アルゴリズムdpzeroを導入する。 理論解析により,その複雑性は主として問題の固有次元に依存し,周囲の次元に対する対数依存性しか示さないことが明らかとなった。 これにより、DPZeroは現実のLLMデプロイメントに非常に実用的な選択肢となる。

関連論文リスト

• Scaling Laws for Differentially Private Language Models [53.14592585413073]
  スケーリング法則は、大規模言語モデル(LLM)トレーニングの重要なコンポーネントとして現れ、スケールによるパフォーマンス向上を予測することができる。 LLMは(時にはセンシティブな)ユーザデータから得られるような、大規模で高品質なトレーニングデータセットに依存しています。 この機密性の高いユーザーデータのトレーニングモデルは、差分プライバシー(DP)のような慎重なプライバシー保護を必要とする
  論文  参考訳（メタデータ） (2025-01-31T06:32:46Z)
• Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
  連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。 本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。 Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-05-24T13:37:48Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices [14.604785223644718]
  Federated Learning(FL)は、デバイスに分散したデータを使ってモデルをトレーニングするテクニックである。 差分プライバシー(DP)は、機密データに対して正式なプライバシー保証を提供する。 ペイロードサイズを小さくすることでノイズを低減できる部分埋め込み更新(PEU)を提案する。
  論文  参考訳（メタデータ） (2022-07-18T23:53:17Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。