論文の概要: Differentially Private Learning Needs Better Model Initialization and Self-Distillation

• arxiv url: http://arxiv.org/abs/2410.17566v1
• Date: Wed, 23 Oct 2024 05:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:39.862992
• Title: Differentially Private Learning Needs Better Model Initialization and Self-Distillation
• Title（参考訳）: モデル初期化と自己拡張を両立させる差分私的学習
• Authors: Ivoline C. Ngong, Joseph P. Near, Niloofar Mireshghallah,
• Abstract要約: 微分プライベートSGD(DPSGD)は、言語モデルのプライバシ保護トレーニングを可能にするが、実用性、多様性、言語品質を低下させることが多い。 DPRefineは,厳密なフィルタリングを施した小さな訓練済みLMのデータを用いてモデルを初期化する3相法である。 GPT-2のような小型モデルは合成と蒸留に有効であり、プライバシー保護言語をスケーラブルかつ効率的に展開する可能性を強調している。
• 参考スコア（独自算出の注目度）: 1.8069913326395433
• License:
• Abstract: Differentially private SGD (DPSGD) enables privacy-preserving training of language models, but often reduces utility, diversity, and linguistic quality. We introduce DPRefine, a three-phase method that initializes a model using data synthesis from a small pre-trained LM with rigorous filtering, applies DP finetuning on private data, and performs self-distillation to refine outputs. This approach significantly outperforms vanilla DPSGD, with AlpacaEval preferring DPRefine's generations in 78.4% of cases across all datasets. Our analysis reveals that DPRefine reduces linguistic errors in generated text by 84.0%, mitigating grammar and spelling errors, commonly associated with DPSGD. It also reduces inconsistencies of non-private models, such as hallucinated details and misattributed quotes. We find that small models like GPT-2 can be effective for initialization and distillation, highlighting their potential in enabling scalable and efficient deployment of privacy-preserving language.
• Abstract（参考訳）: 微分プライベートSGD(DPSGD)は、言語モデルのプライバシ保護トレーニングを可能にするが、実用性、多様性、言語品質を低下させることが多い。 DPRefineは、厳密なフィルタリングによって訓練済みの小さなLMからデータ合成を用いてモデルを初期化し、プライベートデータにDP微調整を適用し、出力を精製するために自己蒸留を行う3相法である。 このアプローチはバニラDPSGDを大きく上回り、AlpacaEvalはDPRefineの世代を全データセットの78.4%で好んでいる。 分析の結果,DPRefineは生成したテキストの言語的誤りを84.0%削減し,文法や綴りの誤りを緩和する。 また、幻覚的な詳細や誤った引用など、非プライベートモデルの不整合を減少させる。 GPT-2のような小型モデルは初期化や蒸留に有効であり、プライバシー保護言語をスケーラブルかつ効率的に展開する可能性を強調している。

関連論文リスト

• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Locally Differentially Private Document Generation Using Zero Shot Prompting [61.20953109732442]
  本稿では,DP-Prompt と呼ばれる局所的に異なるプライベートなメカニズムを提案し,作者の匿名化攻撃に対処する。 DP-PromptをChatGPT(gpt-3.5)のような強力な言語モデルで使用すると、匿名化攻撃の成功率の顕著な低下が観察される。
  論文  参考訳（メタデータ） (2023-10-24T18:25:13Z)
• Harnessing large-language models to generate private synthetic text [18.863579044812703]
  DP-SGDのような異なるプライベートトレーニングアルゴリズムは、トレーニングされたモデルがプライベート情報を公開しないことを保証することで、センシティブなトレーニングデータを保護する。 本稿では、原データに対して差分的にプライベートな合成データを生成し、その合成データに基づいてモデルを非プライベートに訓練する代替手法について検討する。 プライベートな合成データを作るのは プライベートなモデルを訓練するより はるかに難しい
  論文  参考訳（メタデータ） (2023-06-02T16:59:36Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Accuracy, Interpretability, and Differential Privacy via Explainable Boosting [22.30100748652558]
  我々は、EBM(Explainable Boosting Machines)に差分プライバシーを追加することで、プライバシーを保護しながら最先端の精度が得られることを示す。 複数分類および回帰データセットを用いた実験により,DP-EBMモデルでは,強い差分プライバシー保証を伴っても驚くほど精度の低下がみられた。
  論文  参考訳（メタデータ） (2021-06-17T17:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。