論文の概要: Private Federated Learning using Preference-Optimized Synthetic Data

• arxiv url: http://arxiv.org/abs/2504.16438v1
• Date: Wed, 23 Apr 2025 05:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.015337
• Title: Private Federated Learning using Preference-Optimized Synthetic Data
• Title（参考訳）: 選好最適化合成データを用いたプライベートフェデレーション学習
• Authors: Charlie Hou, Mei-Yu Wang, Yige Zhu, Daniel Lazar, Giulia Fanti,
• Abstract要約: 実用的な設定では、ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は、デバイス上のプライベート・クライアント・データからモデルをトレーニングするための主要な手法である。 近年の研究では,DP合成データを用いた手法によりDP-FLの強化や性能向上が示唆されている。 我々の重要な洞察は、従来のDP合成データ手法によって収集されたプライベートクライアントのフィードバックは、優先順位ランキングとみなすことができるということである。
• 参考スコア（独自算出の注目度）: 10.143621632256448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical settings, differentially private Federated learning (DP-FL) is the dominant method for training models from private, on-device client data. Recent work has suggested that DP-FL may be enhanced or outperformed by methods that use DP synthetic data (Wu et al., 2024; Hou et al., 2024). The primary algorithms for generating DP synthetic data for FL applications require careful prompt engineering based on public information and/or iterative private client feedback. Our key insight is that the private client feedback collected by prior DP synthetic data methods (Hou et al., 2024; Xie et al., 2024) can be viewed as a preference ranking. Our algorithm, Preference Optimization for Private Client Data (POPri) harnesses client feedback using preference optimization algorithms such as Direct Preference Optimization (DPO) to fine-tune LLMs to generate high-quality DP synthetic data. To evaluate POPri, we release LargeFedBench, a new federated text benchmark for uncontaminated LLM evaluations on federated client data. POPri substantially improves the utility of DP synthetic data relative to prior work on LargeFedBench datasets and an existing benchmark from Xie et al. (2024). POPri closes the gap between next-token prediction accuracy in the fully-private and non-private settings by up to 68%, compared to 52% for prior synthetic data methods, and 10% for state-of-the-art DP federated learning methods. The code and data are available at https://github.com/meiyuw/POPri.
• Abstract（参考訳）: 実用的な設定では、ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は、デバイス上のプライベート・クライアント・データからモデルをトレーニングするための主要な手法である。 近年の研究では、DP合成データを用いた手法によりDP-FLを向上または改善することが示唆されている(Wu et al , 2024; Hou et al , 2024)。 FLアプリケーションのためのDP合成データを生成するアルゴリズムは、公開情報および/または反復的なプライベートクライアントフィードバックに基づいて、慎重にプロンプトエンジニアリングを必要とする。 我々のキーとなる洞察は、従来のDP合成データ手法(Hou et al , 2024; Xie et al , 2024)で収集されたプライベートクライアントのフィードバックを優先順位とみなすことである。 提案アルゴリズムは,DPO(Direct Preference Optimization)などの選好最適化アルゴリズムを用いてクライアントからのフィードバックを利用して,高品質なDP合成データを生成するアルゴリズムである。 POPriを評価するために、我々はLargeFedBenchをリリースした。これは、フェデレートされたクライアントデータに対する未汚染LLM評価のための新しいフェデレーションテキストベンチマークである。 POPriは、LargeFedBenchデータセットとXie et al (2024)の既存のベンチマークに関する以前の作業と比較して、DP合成データの実用性を大幅に改善する。 POPriは、従来の合成データ手法では52%、最先端のDPフェデレーション学習手法では10%に対して、完全プライベート設定と非プライベート設定では最大68%の差を埋める。 コードとデータはhttps://github.com/meiyuw/POPri.comで公開されている。

関連論文リスト

• Synthesizing Privacy-Preserving Text Data via Finetuning without Finetuning Billion-Scale LLMs [20.774525687291167]
  そこで本稿では,広範囲なプロンプトエンジニアリングや数十億規模の微調整を伴わずに,プライバシ保護型合成データを生成する新しいフレームワークを提案する。 CTCLは、大規模公開データ上で、軽量な140M条件生成器とクラスタリングベースのトピックモデルを事前訓練する。 さらにプライベートドメインに適応するために、トピックモデルがDPヒストグラムを抽出する間、作成したジェネレータは、詳細なテキスト情報のためにプライベートデータに対してDP微調整される。
  論文  参考訳（メタデータ） (2025-03-16T04:00:32Z)
• Is API Access to LLMs Useful for Generating Private Synthetic Tabular Data? [19.72500788849435]
  差分プライベート(DP)合成データは、個人データの分析を可能にする汎用的なツールである。 大規模言語モデル(LLM)の最近の進歩は、DP合成データ生成を改善するための多くのアルゴリズム技術にインスピレーションを与えている。 あるアプローチの族は、基礎モデル重み付けにDP微調整を用いるが、最先端モデルのモデル重み付けは公開されていないかもしれない。
  論文  参考訳（メタデータ） (2025-02-10T15:23:52Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Prompt Public Large Language Models to Synthesize Data for Private On-device Applications [5.713077600587505]
  本稿では,DP と FL でトレーニングしたデバイス上での言語モデルにおいて,公開データに基づいてトレーニングした大規模言語モデル (LLM) が事前学習データの質を向上する方法について検討する。 合成データセットに事前学習したモデルでは, 単語予測精度が19.0%, 22.8%向上した。 実験では, プライベートデータにアクセスしなくても, プライベートデータに近いデータを合成する上でのLCMの強みを実証した。
  論文  参考訳（メタデータ） (2024-04-05T19:14:14Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Benchmarking Private Population Data Release Mechanisms: Synthetic Data vs. TopDown [50.40020716418472]
  本研究では、TopDownアルゴリズムとプライベート合成データ生成を比較し、クエリの複雑さによる精度への影響を判定する。 この結果から,TopDownアルゴリズムは,分散クエリに対して,評価したどの合成データ手法よりもはるかに優れたプライバシー-忠実トレードオフを実現することがわかった。
  論文  参考訳（メタデータ） (2024-01-31T17:38:34Z)
• Harnessing large-language models to generate private synthetic text [18.863579044812703]
  DP-SGDのような異なるプライベートトレーニングアルゴリズムは、トレーニングされたモデルがプライベート情報を公開しないことを保証することで、センシティブなトレーニングデータを保護する。 本稿では、原データに対して差分的にプライベートな合成データを生成し、その合成データに基づいてモデルを非プライベートに訓練する代替手法について検討する。 プライベートな合成データを作るのは プライベートなモデルを訓練するより はるかに難しい
  論文  参考訳（メタデータ） (2023-06-02T16:59:36Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Privately Customizing Prefinetuning to Better Match User Data in Federated Learning [3.645000701985685]
  Federated Learning (FL)では、プライベートクライアントデータにアクセスすると、通信とプライバシコストが発生する。 本稿では,FreD(Federated Private Fr'echet Distance)を提案する。 FreDが最小限のプライバシーコストで最適な事前調整データセットを正確に予測できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-02-17T18:18:22Z)
• Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
  そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。 我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。 本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-27T21:01:58Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。