論文の概要: RewardDS: Privacy-Preserving Fine-Tuning for Large Language Models via Reward Driven Data Synthesis

• arxiv url: http://arxiv.org/abs/2502.18517v1
• Date: Sun, 23 Feb 2025 02:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:18.007194
• Title: RewardDS: Privacy-Preserving Fine-Tuning for Large Language Models via Reward Driven Data Synthesis
• Title（参考訳）: RewardDS: Reward駆動データ合成による大規模言語モデルのためのプライバシ保護ファインチューニング
• Authors: Jianwei Wang, Junyao Yang, Haoran Li, Huiping Zhuang, Cen Chen, Ziqian Zeng,
• Abstract要約: 医療や金融といった繊細な分野では、プライバシーの懸念がしばしば生じます。 有望な解決策の1つは、プライベートデータを置き換えることを保証する差分プライバシー(DP)で合成データをサンプリングすることである。 本稿では、報酬プロキシモデルを微調整し、報酬信号を用いて合成データ生成を誘導する新しいプライバシ保護フレームワークであるRewardDSを提案する。
• 参考スコア（独自算出の注目度）: 20.587430732876232
• License:
• Abstract: The success of large language models (LLMs) has attracted many individuals to fine-tune them for domain-specific tasks by uploading their data. However, in sensitive areas like healthcare and finance, privacy concerns often arise. One promising solution is to sample synthetic data with Differential Privacy (DP) guarantees to replace private data. However, these synthetic data contain significant flawed data, which are considered as noise. Existing solutions typically rely on naive filtering by comparing ROUGE-L scores or embedding similarities, which are ineffective in addressing the noise. To address this issue, we propose RewardDS, a novel privacy-preserving framework that fine-tunes a reward proxy model and uses reward signals to guide the synthetic data generation. Our RewardDS introduces two key modules, Reward Guided Filtering and Self-Optimizing Refinement, to both filter and refine the synthetic data, effectively mitigating the noise. Extensive experiments across medical, financial, and code generation domains demonstrate the effectiveness of our method.
• Abstract（参考訳）: 大規模言語モデル(LLM)の成功は、多くの個人を惹きつけ、データをアップロードしてドメイン固有のタスクを微調整した。 しかし、医療や金融といった繊細な分野では、プライバシーの懸念がしばしば生じます。 有望な解決策の1つは、プライベートデータを置き換えることを保証する差分プライバシー(DP)で合成データをサンプリングすることである。 しかし、これらの合成データは、ノイズと見なされる重大な欠陥のあるデータを含んでいる。 既存のソリューションは、ROUGE-Lスコアを比較したり、類似性を埋め込んだりすることで、ノイズに対処するのに効果がないため、ノイズフィルタリングに頼っているのが一般的である。 この問題に対処するために,報酬プロキシモデルを微調整し,報酬信号を用いて合成データ生成を誘導する新しいプライバシ保護フレームワークであるRewardDSを提案する。 RewardDSは2つの重要なモジュール、Reward Guided FilteringとSelf-Optimizing Refinementを導入しています。 医療、財務、コード生成領域にわたる大規模な実験により、本手法の有効性が実証された。

関連論文リスト

• Evaluating Differentially Private Synthetic Data Generation in High-Stakes Domains [9.123834467375532]
  実データの代わりに、微分プライベート言語モデルから生成された合成データを用いて、高速領域におけるNLPの開発を容易にする可能性について検討する。 以上の結果から,従来の簡易評価では,合成データの有用性,プライバシ,公平性を強調できなかったことが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T19:31:02Z)
• Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data [51.41288763521186]
  Retrieval-augmented Generation (RAG)は、外部知識ソースから取得した関連情報を統合することにより、言語モデルの出力を強化する。 RAGシステムは、プライベートデータを取得する際に深刻なプライバシーリスクに直面する可能性がある。 検索データに対するプライバシー保護の代替として,合成データを用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T22:53:09Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Achilles' Heels: Vulnerable Record Identification in Synthetic Data Publishing [9.061271587514215]
  合成データパブリッシングのための原則付き脆弱なレコード識別手法を提案する。 データセットやジェネレータ間で,従来のアドホック手法よりも優れていることを示す。 合成データジェネレータを差分的にプライベートにすると、脆弱性のあるレコードを正確に識別できることが示される。
  論文  参考訳（メタデータ） (2023-06-17T09:42:46Z)
• Harnessing large-language models to generate private synthetic text [18.863579044812703]
  DP-SGDのような異なるプライベートトレーニングアルゴリズムは、トレーニングされたモデルがプライベート情報を公開しないことを保証することで、センシティブなトレーニングデータを保護する。 本稿では、原データに対して差分的にプライベートな合成データを生成し、その合成データに基づいてモデルを非プライベートに訓練する代替手法について検討する。 プライベートな合成データを作るのは プライベートなモデルを訓練するより はるかに難しい
  論文  参考訳（メタデータ） (2023-06-02T16:59:36Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model [23.91327154831855]
  本稿では,プライバシ保護型位相生成モデル(P3GM)を提案する。 P3GMは2段階の学習プロセスを採用し、ノイズに対して堅牢にし、学習効率を向上させる。 最先端の手法と比較して、生成したサンプルはノイズが少なく、データ多様性の観点からも元のデータに近いように見える。
  論文  参考訳（メタデータ） (2020-06-22T09:47:54Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。