論文の概要: Data-adaptive Differentially Private Prompt Synthesis for In-Context Learning
- arxiv url: http://arxiv.org/abs/2410.12085v1
- Date: Tue, 15 Oct 2024 22:06:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:43:06.714286
- Title: Data-adaptive Differentially Private Prompt Synthesis for In-Context Learning
- Title（参考訳）: インコンテキスト学習のためのデータ適応型微分プライベートプロンプト合成
- Authors: Fengyu Gao, Ruida Zhou, Tianhao Wang, Cong Shen, Jing Yang,
- Abstract要約: 大規模言語モデル(LLM)は、実例やデモに埋め込まれた文脈情報に依存して、文脈内学習(ICL)を行う。
我々は、AdaDPSynと呼ばれる新しいデータ適応微分プライベートアルゴリズムを導入し、プライベートデータセットから合成例を生成する。
AdaDPSynは、データ固有の統計特性に応じて、データ合成機構のノイズレベルを適応的に調整する。
- 参考スコア（独自算出の注目度）: 16.04405606517753
- License:
- Abstract: Large Language Models (LLMs) rely on the contextual information embedded in examples/demonstrations to perform in-context learning (ICL). To mitigate the risk of LLMs potentially leaking private information contained in examples in the prompt, we introduce a novel data-adaptive differentially private algorithm called AdaDPSyn to generate synthetic examples from the private dataset and then use these synthetic examples to perform ICL. The objective of AdaDPSyn is to adaptively adjust the noise level in the data synthesis mechanism according to the inherent statistical properties of the data, thereby preserving high ICL accuracy while maintaining formal differential privacy guarantees. A key innovation in AdaDPSyn is the Precision-Focused Iterative Radius Reduction technique, which dynamically refines the aggregation radius - the scope of data grouping for noise addition - based on patterns observed in data clustering, thereby minimizing the amount of additive noise. We conduct extensive experiments on standard benchmarks and compare AdaDPSyn with DP few-shot generation algorithm (Tang et al., 2023). The experiments demonstrate that AdaDPSyn not only outperforms DP few-shot generation, but also maintains high accuracy levels close to those of non-private baselines, providing an effective solution for ICL with privacy protection.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、実例やデモに埋め込まれた文脈情報に依存して、文脈内学習(ICL)を行う。
提案手法では,実例に含まれる個人情報を漏洩する可能性のあるLSMのリスクを軽減するために,AdaDPSynと呼ばれる新しいデータ適応差分プライベートアルゴリズムを導入し,プライベートデータセットから合成サンプルを生成し,これらの合成サンプルを用いてICLを実行する。
AdaDPSynの目的は、データ固有の統計特性に応じてデータ合成機構のノイズレベルを適応的に調整し、正式な差分プライバシー保証を維持しつつ高いICL精度を維持することである。
AdaDPSynの重要な革新は、データクラスタリングで観測されるパターンに基づいて、アグリゲーション半径(ノイズ付加のためのデータグルーピングのスコープ)を動的に洗練し、加算雑音の量を最小化する精度焦点反復放射率削減技術である。
AdaDPSyn と DP 数ショット生成アルゴリズム (Tang et al , 2023) を比較した。
実験により、AdaDPSynはDPの少数ショット生成に勝るだけでなく、非プライベートベースラインに近い高い精度を維持し、プライバシ保護によるICLの効果的なソリューションを提供することが示された。
関連論文リスト
- Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。
プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。
本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
論文 参考訳（メタデータ） (2024-10-25T19:32:58Z) - Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳（メタデータ） (2024-06-06T18:01:02Z) - Differentially Private Tabular Data Synthesis using Large Language Models [6.6376578496141585]
本稿ではDP-LLMTGenについて紹介する。
DP-LLMTGenは、2段階の微調整手順を用いて、センシティブなデータセットをモデル化する。
微調整LDMをサンプリングすることで合成データを生成する。
論文 参考訳（メタデータ） (2024-06-03T15:43:57Z) - Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳（メタデータ） (2024-04-24T06:51:16Z) - Refined Direct Preference Optimization with Synthetic Data for
Behavioral Alignment of LLMs [0.0]
本稿では,人手による注釈付きデータを必要としない大規模言語モデル(LLM)の振舞いアライメントを改善する手法であるEmphrefined Direct Preference Optimization (rDPO)を紹介する。
この方法は、教師のLLMによる自己批判を用いて合成データを作成し、その後、一般化されたDPO損失関数を利用して、学生のLLMを消毒する。
損失関数は、合成データの品質を改善するために追加の外部報酬モデルを含むため、合成データセットの潜在的なノイズに対してrDPOは堅牢である。
論文 参考訳（メタデータ） (2024-02-12T19:10:13Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - An Experimental Study on Private Aggregation of Teacher Ensemble
Learning for End-to-End Speech Recognition [51.232523987916636]
差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。
本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
論文 参考訳（メタデータ） (2022-10-11T16:55:54Z) - Noise-Aware Statistical Inference with Differentially Private Synthetic
Data [0.0]
DP合成データをまるで本物であるかのように単純に分析することは、人口レベルの推定に有効でないことを示す。
本稿では,多重計算分野の合成データ解析技術と合成データ生成技術を組み合わせることで,この問題に対処する。
我々は,最大エントロピーの原理を用いたノイズ対応合成データ生成アルゴリズム NAPSU-MQ を開発した。
論文 参考訳（メタデータ） (2022-05-28T16:59:46Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳（メタデータ） (2020-07-04T09:51:02Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。