論文の概要: Private Synthetic Data Meets Ensemble Learning
- arxiv url: http://arxiv.org/abs/2310.09729v1
- Date: Sun, 15 Oct 2023 04:24:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 01:56:52.493609
- Title: Private Synthetic Data Meets Ensemble Learning
- Title(参考訳): プライベート合成データとアンサンブル学習
- Authors: Haoyuan Sun, Navid Azizan, Akash Srivastava, Hao Wang
- Abstract要約: 機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。
実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
- 参考スコア(独自算出の注目度): 15.425653946755025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When machine learning models are trained on synthetic data and then deployed
on real data, there is often a performance drop due to the distribution shift
between synthetic and real data. In this paper, we introduce a new ensemble
strategy for training downstream models, with the goal of enhancing their
performance when used on real data. We generate multiple synthetic datasets by
applying a differential privacy (DP) mechanism several times in parallel and
then ensemble the downstream models trained on these datasets. While each
synthetic dataset might deviate more from the real data distribution, they
collectively increase sample diversity. This may enhance the robustness of
downstream models against distribution shifts. Our extensive experiments reveal
that while ensembling does not enhance downstream performance (compared with
training a single model) for models trained on synthetic data generated by
marginal-based or workload-based DP mechanisms, our proposed ensemble strategy
does improve the performance for models trained using GAN-based DP mechanisms
in terms of both accuracy and calibration of downstream models.
- Abstract(参考訳): 機械学習モデルが合成データに基づいてトレーニングされ、次に実データにデプロイされると、合成データと実データの分散シフトによるパフォーマンス低下がしばしば発生する。
本稿では,実データを用いた場合の性能向上を目的とした,下流モデルのトレーニングのための新しいアンサンブル戦略を提案する。
差分プライバシ(DP)機構を複数回並列に適用することにより,複数の合成データセットを生成し,これらのデータセットでトレーニングされた下流モデルをアンサンブルする。
各合成データセットは実際のデータ分散からさらに逸脱するかもしれないが、総合的にサンプルの多様性を増加させる。
これにより、下流モデルの分散シフトに対する堅牢性を高めることができる。
広範にわたる実験により,狭帯域ベースあるいはワークロードベースのDP機構によって生成された合成データに基づいて学習したモデルに対して,アンサンブルはダウンストリーム性能を向上しないが,提案手法は,下流モデルの精度とキャリブレーションの両面から,GANベースのDP機構を用いて訓練したモデルの性能を向上させる。
関連論文リスト
- Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳(メタデータ) (2024-02-19T15:57:39Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - On the Limitation of Diffusion Models for Synthesizing Training Datasets [5.384630221560811]
本稿では, 実試料から再構成した合成試料を拡散・逆過程により解析することにより, 合成試料と実試料とのギャップを解明する。
その結果, 合成データセットは, 最先端拡散モデルを用いても, 実際のデータセットの分類性能を低下させることがわかった。
論文 参考訳(メタデータ) (2023-11-22T01:42:23Z) - Assessment of Differentially Private Synthetic Data for Utility and
Fairness in End-to-End Machine Learning Pipelines for Tabular Data [3.555830838738963]
差分プライベート(DP)合成データセットは、個々のデータプロバイダのプライバシを保持しながらデータを共有するためのソリューションである。
機械学習モデルの訓練と評価に最も効果的な合成データ生成手法を同定する。
論文 参考訳(メタデータ) (2023-10-30T03:37:16Z) - Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large
Language Models by Extrapolating Errors from Small Models [69.76066070227452]
※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。
本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。
提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-10-20T17:14:25Z) - On the Stability of Iterative Retraining of Generative Models on their
own Data [56.153542044045224]
生成モデルの訓練がデータセット(実データと合成データの混合データ)の安定性に及ぼす影響について検討した。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は,CIFAR10およびFFHQ上の正規化フローと最先端拡散モデルの反復的訓練により,合成画像と自然画像の両方に関する理論を実証的に検証した。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Analyzing Effects of Fake Training Data on the Performance of Deep
Learning Systems [0.0]
ディープラーニングモデルは、クラス不均衡や分散シフトに対する堅牢性の欠如など、さまざまな問題に悩まされることが多い。
GAN(Generative Adversarial Networks)の出現により、高品質な合成データを生成することが可能になった。
本研究では, 各種合成データと原データとを混合した場合, アウト・オブ・ディストリビューションデータに対するモデルの堅牢性と, 予測の一般品質に影響を及ぼす影響を解析する。
論文 参考訳(メタデータ) (2023-03-02T13:53:22Z) - Variational Autoencoder Generative Adversarial Network for Synthetic
Data Generation in Smart Home [15.995891934245334]
本稿では,変動型自動エンコーダ生成適応ネットワーク(VAE-GAN)をスマートグリッドデータ生成モデルとして提案する。
VAE-GANは、様々な種類のデータ分布を学習し、同じ分布から可塑性サンプルを生成することができる。
実験により,提案した合成データ生成モデルは,バニラGANネットワークより優れていることが示された。
論文 参考訳(メタデータ) (2022-01-19T02:30:25Z) - An Analysis of the Deployment of Models Trained on Private Tabular
Synthetic Data: Unexpected Surprises [4.129847064263057]
異なるプライベート(DP)合成データセットは、機械学習モデルをトレーニングするための強力なアプローチである。
差分プライベートな合成データ生成が分類に与える影響について検討する。
論文 参考訳(メタデータ) (2021-06-15T21:00:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。