論文の概要: DP-OPD: Differentially Private On-Policy Distillation for Language Models

• arxiv url: http://arxiv.org/abs/2604.04461v1
• Date: Mon, 06 Apr 2026 06:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.115368
• Title: DP-OPD: Differentially Private On-Policy Distillation for Language Models
• Title（参考訳）: DP-OPD:言語モデルのための微分プライベートなオンポリティ蒸留
• Authors: Fatemeh Khadem, Sajad Mousavi, Yi Fang, Yuhong Liu,
• Abstract要約: 本稿では,DP-SGDのみを通じて,生徒のプライバシを強制する合成自由フレームワークを提案する。 DP-OPDは、継続トークン上の一般知識蒸留を通じてこのアイデアをインスタンス化する。
• 参考スコア（独自算出の注目度）: 15.952882124096975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly adapted to proprietary and domain-specific corpora that contain sensitive information, creating a tension between formal privacy guarantees and efficient deployment through model compression. Differential privacy (DP), typically enforced via DP-SGD, provides record-level protection but often incurs substantial utility loss in autoregressive generation, where optimization noise can amplify exposure bias and compounding errors along long rollouts. Existing approaches to private distillation either apply DP-SGD to both teacher and student, worsening computation and the privacy--utility tradeoff, or rely on DP synthetic text generation from a DP-trained teacher, avoiding DP on the student at the cost of DP-optimizing a large teacher and introducing an offline generation pipeline. We propose \textbf{Differentially Private On-Policy Distillation (DP-OPD)}, a synthesis-free framework that enforces privacy solely through DP-SGD on the student while leveraging a frozen teacher to provide dense token-level targets on \emph{student-generated} trajectories. DP-OPD instantiates this idea via \emph{private generalized knowledge distillation} on continuation tokens. Under a strict privacy budget ($\varepsilon=2.0$), DP-OPD improves perplexity over DP fine-tuning and off-policy DP distillation, and outperforms synthesis-based DP distillation (Yelp: 44.15$\rightarrow$41.68; BigPatent: 32.43$\rightarrow$30.63), while substantially simplifying the training pipeline. In particular, \textbf{DP-OPD collapses private compression into a single DP student-training loop} by eliminating DP teacher training and offline synthetic text generation. Code will be released upon publication at https://github.com/khademfatemeh/dp_opd.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、機密情報を含むプロプライエタリおよびドメイン固有のコーパスに適応し、形式的なプライバシ保証とモデル圧縮による効率的なデプロイメントの間に緊張を生じさせる。 DP-SGDを通じて実施される差分プライバシー(DP)は、記録レベルの保護を提供するが、しばしば自己回帰生成において実質的なユーティリティ損失を引き起こす。 従来の民間蒸留法では,DP-SGDを教師と生徒の両方に適用し,計算処理とプライバシー利用のトレードオフを悪化させるか,DP訓練された教師からのDP合成テキスト生成に依存し,DP最適化とオフライン生成パイプラインの導入を犠牲に学生のDPを避けている。 本研究では,学習者に対してDP-SGDのみを通じてプライバシを強制する合成自由フレームワークである‘textbf{Differentially Private On-Policy Distillation(DP-OPD)’を提案する。 DP-OPD はこのアイデアを継続トークン上で \emph{private generalized knowledge distillation} を介してインスタンス化する。 厳格なプライバシー予算(「\varepsilon=2.0$」)の下で、DP-OPDはDP微調整と非政治的なDP蒸留の複雑さを改善し、合成に基づくDP蒸留(Yelp:44.15$\rightarrow$41.68; BigPatent: 32.43$\rightarrow$30.63)より優れ、訓練パイプラインを大幅に単純化する。 特に,「textbf{DP-OPD」はDP教師訓練とオフライン合成テキスト生成を排除し,プライベート圧縮を単一のDP学生訓練ループに分解する。 コードはhttps://github.com/khademfatemeh/dp_opd.comで公開される。

関連論文リスト

• DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning [51.35628297101575]
  差分的プライベート(DP)合成データ生成は,個人データ上での大規模言語モデル(LLM)の開発において重要な役割を担っている。 LLMを用いた合成データ生成のためのオンライン強化学習アルゴリズムDP-RFTを導入する。 DP-RFTは,ニュース記事や会議録,医療記事の要約など,長文およびドメイン固有の合成データ生成に有用である。
  論文  参考訳（メタデータ） (2026-02-20T22:03:56Z)
• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• DP-2Stage: Adapting Language Models as Differentially Private Tabular Data Generators [47.86275136491794]
  差分プライベートデータ生成のための2段階微調整フレームワークDP-2Stageを提案する。 実験結果から、このアプローチは様々な設定やメトリクスのパフォーマンスを改善することが示された。
  論文  参考訳（メタデータ） (2024-12-03T14:10:09Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)
• Lifelong DP: Consistently Bounded Differential Privacy in Lifelong Machine Learning [28.68587691924582]
  新たなタスクを継続的に学習し,過去のタスクを記憶するプロセスは,未知のプライバシリスクと,プライバシ損失を拘束する課題をもたらすことを示す。 ライフロングDPの形式的定義を導入し、任意のタスクのトレーニングセットにデータを含めることが保護される。 我々はL2DP-MLと呼ばれるスケーラブルで異種なアルゴリズムを提案し、L2Mモデルの新バージョンを効率的に訓練し、継続する。
  論文  参考訳（メタデータ） (2022-07-26T11:55:21Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with Differentially Private Data Augmentations [54.960853673256]
  混合や無作為な付加ノイズなどの強いデータ拡張は、わずかな精度のトレードオフに耐えながら、毒の攻撃を無効にする。 DP-InstaHideの厳密な分析によると、ミキサップは確かにプライバシー上の利点があり、kウェイミキサップによるトレーニングは、単純DPメカニズムよりも少なくともk倍強いDP保証が得られる。
  論文  参考訳（メタデータ） (2021-03-02T23:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。