論文の概要: Fine-Tuning Large Language Models with User-Level Differential Privacy

• arxiv url: http://arxiv.org/abs/2407.07737v1
• Date: Wed, 10 Jul 2024 15:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:12:31.345912
• Title: Fine-Tuning Large Language Models with User-Level Differential Privacy
• Title（参考訳）: ユーザレベル差分プライバシを用いた大規模言語モデルの微調整
• Authors: Zachary Charles, Arun Ganesh, Ryan McKenna, H. Brendan McMahan, Nicole Mitchell, Krishna Pillutla, Keith Rush,
• Abstract要約: 1)サンプルレベルサンプリング(ELS)と,(2)ユーザレベルのサンプリング(ULS)とユーザごとの勾配クリッピングの2種類のDP-SGDについて検討した。 我々は,ESSの厳密なプライバシー保証を計算できる新しいユーザレベルDP会計士を導出する。 ULS は(1) 強いプライバシー保証が必要か、(2) 計算予算が大きいかという設定で大幅に改善されている。
• 参考スコア（独自算出の注目度）: 13.724470723613262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate practical and scalable algorithms for training large language models (LLMs) with user-level differential privacy (DP) in order to provably safeguard all the examples contributed by each user. We study two variants of DP-SGD with: (1) example-level sampling (ELS) and per-example gradient clipping, and (2) user-level sampling (ULS) and per-user gradient clipping. We derive a novel user-level DP accountant that allows us to compute provably tight privacy guarantees for ELS. Using this, we show that while ELS can outperform ULS in specific settings, ULS generally yields better results when each user has a diverse collection of examples. We validate our findings through experiments in synthetic mean estimation and LLM fine-tuning tasks under fixed compute budgets. We find that ULS is significantly better in settings where either (1) strong privacy guarantees are required, or (2) the compute budget is large. Notably, our focus on LLM-compatible training algorithms allows us to scale to models with hundreds of millions of parameters and datasets with hundreds of thousands of users.
• Abstract（参考訳）: ユーザレベルの差分プライバシ(DP)を用いて,大規模言語モデル(LLM)をトレーニングするための実用的かつスケーラブルなアルゴリズムを検討した。 1)サンプルレベルサンプリング(ELS)と,(2)ユーザレベルのサンプリング(ULS)とユーザごとの勾配クリッピングの2種類のDP-SGDについて検討した。 我々は,ESSの厳密なプライバシー保証を計算できる新しいユーザレベルDP会計士を導出する。 これを用いて、ALSは特定の設定でULSより優れるが、ULSは一般的に、各ユーザが多様なサンプルコレクションを持つ場合に、より良い結果が得られることを示す。 我々は,固定計算予算下での合成平均推定とLLM微調整タスクの実験により,本研究の検証を行った。 ULS は(1) 強いプライバシー保証が必要か、(2) 計算予算が大きいかという設定で大幅に改善されている。 特に、LLM互換のトレーニングアルゴリズムにフォーカスすることで、数十万人のユーザを持つ数十万のパラメータとデータセットを持つモデルにスケールできます。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Evaluating the Generalization Ability of Quantized LLMs: Benchmark, Analysis, and Toolbox [46.39670209441478]
  大規模言語モデル(LLM)は、複数のシナリオでエキサイティングな進歩を見せている。 メモリフットプリントと推論コストを削減する効果的な方法として、量子化は低ビット幅での性能劣化にも直面する。 この研究は、評価システム、詳細な分析、一般的なツールボックスを含む、この研究トピックのための包括的なベンチマークスイートを提供する。
  論文  参考訳（メタデータ） (2024-06-15T12:02:14Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs Using the CGC-LORA Algorithm [7.521690071464451]
  大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。 我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
  論文  参考訳（メタデータ） (2024-01-22T07:58:31Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• User-Level Private Learning via Correlated Sampling [49.453751858361265]
  我々は、各ユーザが$m$のサンプルを持ち、プライバシ保護が各ユーザのデータレベルで実施される設定について検討する。 この設定では、より少ない数のユーザーで学習できることが示されます。
  論文  参考訳（メタデータ） (2021-10-21T15:33:53Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。