論文の概要: PrE-Text: Training Language Models on Private Federated Data in the Age of LLMs

• arxiv url: http://arxiv.org/abs/2406.02958v2
• Date: Wed, 17 Jul 2024 18:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 20:32:20.281049
• Title: PrE-Text: Training Language Models on Private Federated Data in the Age of LLMs
• Title（参考訳）: PrE-Text:LLM時代の私的フェデレーションデータに基づく言語モデル
• Authors: Charlie Hou, Akshat Shrivastava, Hongyuan Zhan, Rylan Conway, Trang Le, Adithya Sagar, Giulia Fanti, Daniel Lazar,
• Abstract要約: PrE-Text合成データは、デバイス上で訓練された小さなモデルよりも優れていることを示す。 また,PrE-TextのDP合成データを用いて大規模モデルを微調整することで,大規模言語モデル(LLM)の性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 9.4160097651204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device training is currently the most common approach for training machine learning (ML) models on private, distributed user data. Despite this, on-device training has several drawbacks: (1) most user devices are too small to train large models on-device, (2) on-device training is communication- and computation-intensive, and (3) on-device training can be difficult to debug and deploy. To address these problems, we propose Private Evolution-Text (PrE-Text), a method for generating differentially private (DP) synthetic textual data. First, we show that across multiple datasets, training small models (models that fit on user devices) with PrE-Text synthetic data outperforms small models trained on-device under practical privacy regimes ($\epsilon=1.29$, $\epsilon=7.58$). We achieve these results while using 9$\times$ fewer rounds, 6$\times$ less client computation per round, and 100$\times$ less communication per round. Second, finetuning large models on PrE-Text's DP synthetic data improves large language model (LLM) performance on private data across the same range of privacy budgets. Altogether, these results suggest that training on DP synthetic data can be a better option than training a model on-device on private distributed data. Code is available at https://github.com/houcharlie/PrE-Text.
• Abstract（参考訳）: オンデバイストレーニングは、現在、プライベートな分散ユーザデータ上で機械学習(ML)モデルをトレーニングするための最も一般的なアプローチである。 それにもかかわらず、デバイス上でのトレーニングにはいくつかの欠点がある: (1) 多くのユーザデバイスはデバイス上で大きなモデルをトレーニングするには小さすぎる、(2)デバイス上でのトレーニングは通信と計算集約であり、(3)デバイス上でのトレーニングはデバッグとデプロイが困難である。 これらの問題に対処するために、差分プライベート(DP)合成テキストデータを生成するPrE-Text(PrE-Text)を提案する。 まず、複数のデータセットにまたがって、PrE-Text合成データによる小さなモデル(ユーザデバイスに適合するモデル)のトレーニングが、実際のプライバシー体制下でトレーニングされた小さなモデル(\epsilon=1.29$, $\epsilon=7.58$)よりも優れていることを示す。 9$\times$より少ないラウンド、6$\times$より少ないラウンドで、100$\times$より少ない通信で、これらの結果を達成する。 第二に、PrE-TextのDP合成データに大規模なモデルを微調整することで、同じ種類のプライバシー予算でプライベートデータ上での大きな言語モデル(LLM)のパフォーマンスが向上する。 これらの結果は、DP合成データのトレーニングが、プライベートな分散データ上でデバイス上でモデルをトレーニングするよりも、よりよい選択肢となることを示唆している。 コードはhttps://github.com/houcharlie/PrE-Textで入手できる。

関連論文リスト

• Prompt Public Large Language Models to Synthesize Data for Private On-device Applications [5.713077600587505]
  本稿では,DP と FL でトレーニングしたデバイス上での言語モデルにおいて,公開データに基づいてトレーニングした大規模言語モデル (LLM) が事前学習データの質を向上する方法について検討する。 合成データセットに事前学習したモデルでは, 単語予測精度が19.0%, 22.8%向上した。 実験では, プライベートデータにアクセスしなくても, プライベートデータに近いデータを合成する上でのLCMの強みを実証した。
  論文  参考訳（メタデータ） (2024-04-05T19:14:14Z)
• Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
  既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。 一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。 我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-05T00:42:35Z)
• Harnessing large-language models to generate private synthetic text [18.863579044812703]
  DP-SGDのような異なるプライベートトレーニングアルゴリズムは、トレーニングされたモデルがプライベート情報を公開しないことを保証することで、センシティブなトレーニングデータを保護する。 本稿では、原データに対して差分的にプライベートな合成データを生成し、その合成データに基づいてモデルを非プライベートに訓練する代替手法について検討する。 プライベートな合成データを作るのは プライベートなモデルを訓練するより はるかに難しい
  論文  参考訳（メタデータ） (2023-06-02T16:59:36Z)
• TMI! Finetuned Models Leak Private Information from their Pretraining Data [5.150344987657356]
  我々は,敵が細かなモデルにのみアクセス可能な新しいメンバーシップ推論脅威モデルを提案する。 我々は、複数の移動学習環境において、視覚と自然言語の両方のタスクに対して$textbfTMI$を評価した。 $textbfTMI$のオープンソース実装はGitHubにある。
  論文  参考訳（メタデータ） (2023-06-01T22:29:28Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation [19.046126301352274]
  強力なハードウェアとモデル圧縮技術が利用可能になったことにより、デバイス上での機械学習が現実化しつつある。 本研究では、より小さなパーソナライズされたモデルを用いて特定のシナリオに適合させることを観察する。 PershonEPEEは、初期出口をモデルにアタッチし、デバイス上でパーソナライズするフレームワークである。
  論文  参考訳（メタデータ） (2021-02-02T09:10:17Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。