論文の概要: Differentially Private Knowledge Distillation via Synthetic Text Generation

• arxiv url: http://arxiv.org/abs/2403.00932v1
• Date: Fri, 1 Mar 2024 19:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:58:02.943210
• Title: Differentially Private Knowledge Distillation via Synthetic Text Generation
• Title（参考訳）: 合成テキスト生成による微分的私的知識蒸留
• Authors: James Flemings and Murali Annavaram
• Abstract要約: 大規模言語モデル(LLM)は多くの下流タスクで最先端のパフォーマンスを実現している。 データプライバシの緊急性には、LPMがプライベートデータ上で差分プライバシー(DP)をトレーニングする必要がある。 本稿では, 微分プライベートLLMによって生成される合成データを利用した, 微分プライベートな知識蒸留アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.144668575825851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language models (LLMs) are achieving state-of-the-art performance in many different downstream tasks. However, the increasing urgency of data privacy requires LLMs to train with Differential Privacy (DP) on private data. Concurrently it is also necessary to compress LLMs for real-life deployments on resource-constrained devices or latency-sensitive applications. Differential privacy and model compression generally must trade off utility loss to achieve their objectives. Moreover, concurrently achieving both can result in even more utility loss. To this end, we propose a novel differentially private knowledge distillation algorithm that exploits synthetic data generated by a differentially private LLM. The knowledge of a teacher model is transferred onto the student in two ways: one way from the synthetic data itself, the hard labels, and the other way by the output distribution of the teacher model evaluated on the synthetic data, the soft labels. Furthermore, if the teacher and student share a similar architectural structure, we can further distill knowledge by exploiting hidden representations. Our results show that our framework substantially improves the utility over existing baselines with strong privacy parameters, {\epsilon} = 2, validating that we can successfully compress autoregressive LLMs while preserving the privacy of training data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの下流タスクで最先端のパフォーマンスを実現している。 しかし、データプライバシの緊急性の高まりにより、LLMはプライベートデータ上で差分プライバシー(DP)をトレーニングする必要がある。 同時に、リソース制約のあるデバイスや遅延に敏感なアプリケーション上でのリアルタイムデプロイメントのために、LSMを圧縮する必要がある。 ディファレンシャルプライバシとモデル圧縮は通常、目的を達成するためにユーティリティ損失をトレードオフしなければならない。 さらに、両方を同時に達成すれば、さらに実用性を失う可能性がある。 そこで本研究では, 微分プライベートllmで生成された合成データを活用した, 微分プライベート知識蒸留アルゴリズムを提案する。 教師モデルの知識は、合成データ自体からの1つの方法、ハードラベルからの1つの方法、および、合成データに基づいて評価された教師モデルの出力分布、ソフトラベルの2つの方法で学生に伝達される。 さらに,教師と生徒が類似のアーキテクチャ構造を共有している場合,隠れた表現を利用して知識を抽出することができる。 その結果,既存のベースラインに対して,epsilon = 2という強力なプライバシパラメータを用いて,トレーニングデータのプライバシを保ちながら,自己回帰型llmを効果的に圧縮できることを検証した。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation [24.868697898254368]
  ディープモデルは、実用デプロイメントにおいてプライバシー漏洩のリスクを引き起こす可能性がある。 本稿では,プライバシー保護深層モデル学習のための識別・生成蒸留手法を提案する。 提案手法は,プライベートデータに対するクエリコストと精度の低下を統一的に制御できる。
  論文  参考訳（メタデータ） (2024-09-04T03:06:13Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Differentially Private Synthetic Data via Foundation Model APIs 2: Text [56.13240830670327]
  現実世界で生成された高品質なテキストデータはプライベートであり、プライバシー上の懸念から自由に共有したり、利用したりすることはできない。 テキストの複雑な設定に適用可能な拡張PEアルゴリズムであるAug-PEを提案する。 その結果, Aug-PE は SOTA DP の微調整ベースラインと競合する DP 合成テキストを生成することがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:57:50Z)
• Under the Surface: Tracking the Artifactuality of LLM-Generated Data [21.002983022237604]
  この研究は、人工データの生成において、大きな言語モデル(LLM)の役割を拡大するものである。 我々の知る限りでは、多種多様な LLM 生成テキストデータを収集する最初の研究である。 人工データの人間のパフォーマンスにマッチする能力にもかかわらず、本論文は重大な隠蔽格差を明らかにした。
  論文  参考訳（メタデータ） (2024-01-26T07:53:27Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。