論文の概要: DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning

• arxiv url: http://arxiv.org/abs/2602.18633v1
• Date: Fri, 20 Feb 2026 22:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.206147
• Title: DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning
• Title（参考訳）: DP-RFT:差分自己強化ファインチューニングによる合成テキスト生成学習
• Authors: Fangyuan Xu, Sihao Chen, Zinan Lin, Taiwei Shi, Sydney Graham, Pei Zhou, Mengting Wan, Alex Stein, Virginia Estellers, Charles Chen, Morris Sharp, Richard Speyer, Tadas Baltrusaitis, Jennifer Neville, Eunsol Choi, Longqi Yang,
• Abstract要約: 差分的プライベート(DP)合成データ生成は,個人データ上での大規模言語モデル(LLM)の開発において重要な役割を担っている。 LLMを用いた合成データ生成のためのオンライン強化学習アルゴリズムDP-RFTを導入する。 DP-RFTは,ニュース記事や会議録,医療記事の要約など,長文およびドメイン固有の合成データ生成に有用である。
• 参考スコア（独自算出の注目度）: 51.35628297101575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (DP) synthetic data generation plays a pivotal role in developing large language models (LLMs) on private data, where data owners cannot provide eyes-on access to individual examples. Generating DP synthetic data typically involves a difficult trade-off. On one hand, DP finetuning methods train an LLM as a synthetic data generator with formal privacy guarantees, yet it still requires the raw content of private examples for model training. However, methods that avoid direct exposure to private data are bounded by an off-the-shelf, un-finetuned model, whose outputs often lack domain fidelity. Can we train an LLM to generate high-quality synthetic text without eyes-on access to individual private examples? In this work, we introduce Differentially Private Reinforcement Fine-Tuning (DP-RFT), an online reinforcement learning algorithm for synthetic data generation with LLMs. DP-RFT leverages DP-protected nearest-neighbor votes from an eyes-off private corpus as a reward signal for on-policy synthetic samples generated by an LLM. The LLM iteratively learns to generate synthetic data to maximize the expected DP votes through Proximal Policy Optimization (PPO). We evaluate DP-RFT for long-form and domain-specific synthetic data generation, such as news articles, meeting transcripts, and medical article abstracts. Our experiments show that DP-RFT closes the gap between private evolution and DP finetuning methods in terms of the fidelity and downstream utility of the generated synthetic data, while respecting the private data boundary.
• Abstract（参考訳）: 差分的プライベート(DP)合成データ生成は、個人データ上で大きな言語モデル(LLM)を開発する上で重要な役割を果たす。 DP合成データの生成は、通常、難しいトレードオフを伴う。 一方、DPファインタニング手法は、正式なプライバシ保証を備えた合成データジェネレータとしてLLMをトレーニングするが、モデルトレーニングにはプライベートサンプルの生の内容が必要である。 しかし、プライベートデータへの直接の露出を避ける方法は、出力がドメインの忠実さに欠ける、既製の未精細なモデルによって境界づけられる。 LLMをトレーニングして、個々のプライベートな例に目を向けずに高品質な合成テキストを生成することができるか? 本研究では, LLMを用いた合成データ生成のためのオンライン強化学習アルゴリズムDP-RFTを提案する。 DP-RFT は LLM が生成するオンライン合成サンプルに対する報酬信号として, DP 保護された近接投票を利用した。 LLMは、PPO(Proximal Policy Optimization)を通じて、予想されるDP票を最大化する合成データを生成することを反復的に学習する。 DP-RFTは,ニュース記事や会議録,医療記事の要約など,長文およびドメイン固有の合成データ生成に有用である。 実験により,DP-RFTは,プライベートデータ境界を尊重しつつ,生成した合成データの忠実度と下流性の観点から,DP微調整法とプライベート進化のギャップを埋めることを示した。

関連論文リスト

• Synthesizing Privacy-Preserving Text Data via Finetuning without Finetuning Billion-Scale LLMs [20.774525687291167]
  合成データは、データのプライバシを保持しながらモデルをトレーニングするための有望なパスを提供する。 大規模言語モデル(LLM)をデータジェネレータとしてDP微調整することは効果的であるが、計算資源が限られている場合には実用的ではない。 我々は、広範囲なプロンプトエンジニアリングを伴わずに、プライバシを保存する合成データを生成するための新しいフレームワークであるCTCLを提案する。
  論文  参考訳（メタデータ） (2025-03-16T04:00:32Z)
• DP-2Stage: Adapting Language Models as Differentially Private Tabular Data Generators [47.86275136491794]
  差分プライベートデータ生成のための2段階微調整フレームワークDP-2Stageを提案する。 実験結果から、このアプローチは様々な設定やメトリクスのパフォーマンスを改善することが示された。
  論文  参考訳（メタデータ） (2024-12-03T14:10:09Z)
• Differentially Private Synthetic Data via Foundation Model APIs 2: Text [56.13240830670327]
  現実世界で生成された高品質なテキストデータはプライベートであり、プライバシー上の懸念から自由に共有したり、利用したりすることはできない。 テキストの複雑な設定に適用可能な拡張PEアルゴリズムであるAug-PEを提案する。 その結果, Aug-PE は SOTA DP の微調整ベースラインと競合する DP 合成テキストを生成することがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:57:50Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Harnessing large-language models to generate private synthetic text [18.863579044812703]
  DP-SGDのような異なるプライベートトレーニングアルゴリズムは、トレーニングされたモデルがプライベート情報を公開しないことを保証することで、センシティブなトレーニングデータを保護する。 本稿では、原データに対して差分的にプライベートな合成データを生成し、その合成データに基づいてモデルを非プライベートに訓練する代替手法について検討する。 プライベートな合成データを作るのは プライベートなモデルを訓練するより はるかに難しい
  論文  参考訳（メタデータ） (2023-06-02T16:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。