論文の概要: DPZero: Private Fine-Tuning of Language Models without Backpropagation

• arxiv url: http://arxiv.org/abs/2310.09639v2
• Date: Wed, 14 Feb 2024 09:42:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 19:20:11.195149
• Title: DPZero: Private Fine-Tuning of Language Models without Backpropagation
• Title（参考訳）: DPZero: バックプロパゲーションのない言語モデルのプライベートな微調整
• Authors: Liang Zhang, Bingcong Li, Kiran Koshy Thekumparampil, Sewoong Oh, Niao He
• Abstract要約: DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、6つの下流タスクでプライベートに微調整されたRoBERTaで実証される。
• 参考スコア（独自算出の注目度）: 52.96184447403505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread practice of fine-tuning large language models (LLMs) on domain-specific data faces two major challenges in memory and privacy. First, as the size of LLMs continues to grow, the memory demands of gradient-based training methods via backpropagation become prohibitively high. Second, given the tendency of LLMs to memorize training data, it is important to protect potentially sensitive information in the fine-tuning data from being regurgitated. Zeroth-order methods, which rely solely on forward passes, substantially reduce memory consumption during training. However, directly combining them with standard differentially private gradient descent suffers from growing model size. To bridge this gap, we introduce DPZero, a novel private zeroth-order algorithm with nearly dimension-independent rates. The memory efficiency of DPZero is demonstrated in privately fine-tuning RoBERTa on six downstream tasks.
• Abstract（参考訳）: ドメイン固有データに対する細調整の大規模言語モデル(LLM)の広範な実践は、メモリとプライバシの2つの大きな課題に直面している。 第一に、LSMのサイズが大きくなるにつれて、バックプロパゲーションによる勾配に基づくトレーニング手法のメモリ要求が著しく高くなる。 第二に、LLMがトレーニングデータを記憶する傾向を考えると、微調整データの潜在的に敏感な情報の再帰を防ぐことが重要である。 前方パスのみに依存するゼロ次メソッドは、トレーニング中のメモリ消費を大幅に削減する。 しかし, 標準偏差勾配降下法と直接結合すると, モデルサイズが大きくなる。 このギャップを埋めるために,次元非依存率を持つ新しいプライベートなゼロ次アルゴリズムdpzeroを導入する。 DPZeroのメモリ効率は、6つの下流タスクでプライベートに微調整されたRoBERTaで実証される。

関連論文リスト

• Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
  連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。 本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。 Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-05-24T13:37:48Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices [14.604785223644718]
  Federated Learning(FL)は、デバイスに分散したデータを使ってモデルをトレーニングするテクニックである。 差分プライバシー(DP)は、機密データに対して正式なプライバシー保証を提供する。 ペイロードサイズを小さくすることでノイズを低減できる部分埋め込み更新(PEU)を提案する。
  論文  参考訳（メタデータ） (2022-07-18T23:53:17Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。