論文の概要: Fine-Tuning Large Language Models with User-Level Differential Privacy

• arxiv url: http://arxiv.org/abs/2407.07737v1
• Date: Wed, 10 Jul 2024 15:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:12:31.345912
• Title: Fine-Tuning Large Language Models with User-Level Differential Privacy
• Title（参考訳）: ユーザレベル差分プライバシを用いた大規模言語モデルの微調整
• Authors: Zachary Charles, Arun Ganesh, Ryan McKenna, H. Brendan McMahan, Nicole Mitchell, Krishna Pillutla, Keith Rush,
• Abstract要約: 1)サンプルレベルサンプリング(ELS)と,(2)ユーザレベルのサンプリング(ULS)とユーザごとの勾配クリッピングの2種類のDP-SGDについて検討した。 我々は,ESSの厳密なプライバシー保証を計算できる新しいユーザレベルDP会計士を導出する。 ULS は(1) 強いプライバシー保証が必要か、(2) 計算予算が大きいかという設定で大幅に改善されている。
• 参考スコア（独自算出の注目度）: 13.724470723613262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate practical and scalable algorithms for training large language models (LLMs) with user-level differential privacy (DP) in order to provably safeguard all the examples contributed by each user. We study two variants of DP-SGD with: (1) example-level sampling (ELS) and per-example gradient clipping, and (2) user-level sampling (ULS) and per-user gradient clipping. We derive a novel user-level DP accountant that allows us to compute provably tight privacy guarantees for ELS. Using this, we show that while ELS can outperform ULS in specific settings, ULS generally yields better results when each user has a diverse collection of examples. We validate our findings through experiments in synthetic mean estimation and LLM fine-tuning tasks under fixed compute budgets. We find that ULS is significantly better in settings where either (1) strong privacy guarantees are required, or (2) the compute budget is large. Notably, our focus on LLM-compatible training algorithms allows us to scale to models with hundreds of millions of parameters and datasets with hundreds of thousands of users.
• Abstract（参考訳）: ユーザレベルの差分プライバシ(DP)を用いて,大規模言語モデル(LLM)をトレーニングするための実用的かつスケーラブルなアルゴリズムを検討した。 1)サンプルレベルサンプリング(ELS)と,(2)ユーザレベルのサンプリング(ULS)とユーザごとの勾配クリッピングの2種類のDP-SGDについて検討した。 我々は,ESSの厳密なプライバシー保証を計算できる新しいユーザレベルDP会計士を導出する。 これを用いて、ALSは特定の設定でULSより優れるが、ULSは一般的に、各ユーザが多様なサンプルコレクションを持つ場合に、より良い結果が得られることを示す。 我々は,固定計算予算下での合成平均推定とLLM微調整タスクの実験により,本研究の検証を行った。 ULS は(1) 強いプライバシー保証が必要か、(2) 計算予算が大きいかという設定で大幅に改善されている。 特に、LLM互換のトレーニングアルゴリズムにフォーカスすることで、数十万人のユーザを持つ数十万のパラメータとデータセットを持つモデルにスケールできます。

関連論文リスト

• Scaling LLM Inference with Optimized Sample Compute Allocation [56.524278187351925]
  我々は、異なる推論構成の最適な混合を見つけるアルゴリズムであるOSCAを提案する。 実験の結果,学習した混合アロケーションでは,最高の単一構成よりも精度がよいことがわかった。 OSCAはシングルターンタスク以外のエージェント処理にも有効であることが示されており、デフォルト設定よりも3倍少ない計算でSWE-Benchの精度が向上している。
  論文  参考訳（メタデータ） (2024-10-29T19:17:55Z)
• Are Large Language Models In-Context Personalized Summarizers? Get an iCOPERNICUS Test Done! [14.231110627461]
  大規模言語モデル(LLM)は、ICL(In-Context-Learning)に基づく要約においてかなり成功した。 本稿では, EGISES を比較尺度として用いた, LLM における要約能力の新規なIn-COntext personalization learNIng sCrUtinyを提案する。 報告したICLの性能に基づいて17の最先端LCMを評価し,よりリッチなプロンプトで探索すると15モデルのICPLが劣化することを示した。
  論文  参考訳（メタデータ） (2024-09-30T18:45:00Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• One size doesn't fit all: Predicting the Number of Examples for In-Context Learning [16.712595387955574]
  In-context Learning (ICL)は、ラベル付きデータのトレーニングセットに少数の局所的な例(入力と意味的に類似しているもの)を追加するプロセスを指す。 私たちの作業は、この'one fits all'アプローチの制限を軽減し、数ショットの推論で使用する各データインスタンスの例数を動的に予測します。 テキスト分類ベンチマーク実験の結果,AICLが標準ICLを最大17%上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-11T03:28:13Z)
• A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs Using the CGC-LORA Algorithm [7.521690071464451]
  大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。 我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
  論文  参考訳（メタデータ） (2024-01-22T07:58:31Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• User-Level Private Learning via Correlated Sampling [49.453751858361265]
  我々は、各ユーザが$m$のサンプルを持ち、プライバシ保護が各ユーザのデータレベルで実施される設定について検討する。 この設定では、より少ない数のユーザーで学習できることが示されます。
  論文  参考訳（メタデータ） (2021-10-21T15:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。