Fugu-MT 論文翻訳(概要): Efficient Differentially Private Fine-Tuning of Diffusion Models

論文の概要: Efficient Differentially Private Fine-Tuning of Diffusion Models

arxiv url: http://arxiv.org/abs/2406.05257v1
Date: Fri, 7 Jun 2024 21:00:20 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 22:36:11.517565
Title: Efficient Differentially Private Fine-Tuning of Diffusion Models
Title（参考訳）: 拡散モデルの高効率微分プライベート微調整
Authors: Jing Liu, Andrew Lowy, Toshiaki Koike-Akino, Kieran Parsons, Ye Wang,
Abstract要約: DP-SGDによる微調整された大規模な拡散モデルは、メモリ使用量や計算量の観点から非常にリソース需要が高い。本研究では,低次元適応(LoDA)と微分プライバシーを用いた拡散モデルの高効率微調整(PEFT)について検討する。ソースコードはGitHubで公開されます。
参考スコア（独自算出の注目度）: 15.71777343534365
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent developments of Diffusion Models (DMs) enable generation of astonishingly high-quality synthetic samples. Recent work showed that the synthetic samples generated by the diffusion model, which is pre-trained on public data and fully fine-tuned with differential privacy on private data, can train a downstream classifier, while achieving a good privacy-utility tradeoff. However, fully fine-tuning such large diffusion models with DP-SGD can be very resource-demanding in terms of memory usage and computation. In this work, we investigate Parameter-Efficient Fine-Tuning (PEFT) of diffusion models using Low-Dimensional Adaptation (LoDA) with Differential Privacy. We evaluate the proposed method with the MNIST and CIFAR-10 datasets and demonstrate that such efficient fine-tuning can also generate useful synthetic samples for training downstream classifiers, with guaranteed privacy protection of fine-tuning data. Our source code will be made available on GitHub.
Abstract（参考訳）: 拡散モデル(DM)の最近の発展により、驚くべきほど高品質な合成サンプルの生成が可能になった。最近の研究によると、拡散モデルによって生成された合成サンプルは、公開データ上で事前訓練され、プライベートデータ上での差分プライバシーで完全に微調整され、優れたプライバシー利用トレードオフを達成しつつ、下流の分類器を訓練できることが示されている。しかし、DP-SGDによるそのような大きな拡散モデルを完全に微調整することは、メモリ使用量や計算の点で非常にリソースの需要が高い。本研究では,低次元適応(LoDA)と微分プライバシーを用いた拡散モデルのパラメータ効率の良い微調整(PEFT)について検討する。提案手法を MNIST と CIFAR-10 データセットを用いて評価し,このような効率的な微調整により,下流分類器の訓練に有用な合成サンプルを生成でき,微調整データのプライバシー保護が保証されることを示した。ソースコードはGitHubで公開されます。

関連論文リスト

Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment [76.44483062571611]
テスト時間適応(TTA)は、未知のシフト対象ドメインでテストする場合、ソースドメイン事前訓練モデルの性能を向上させることを目的としている。従来のTTA手法は、主にターゲットデータストリームに基づいてモデルの重みを適応し、ターゲットデータの量と順序に敏感なモデル性能を実現する。最近の拡散駆動型TTA法は非条件拡散モデルを用いて強い性能を示した。
論文参考訳（メタデータ） (2024-06-06T17:39:09Z)
Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
論文参考訳（メタデータ） (2024-06-03T14:18:04Z)
Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文参考訳（メタデータ） (2024-02-15T18:59:18Z)
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文参考訳（メタデータ） (2023-10-25T17:59:12Z)
Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
論文参考訳（メタデータ） (2023-10-15T04:24:42Z)
PriSampler: Mitigating Property Inference of Diffusion Models [6.5990719141691825]
この研究は、拡散モデルに対する資産推測攻撃に関する最初のプライバシー研究を体系的に提示する。拡散モデルの特性推定のリスクを推測するモデルに依存しない新しいプラグイン手法PriSamplerを提案する。
論文参考訳（メタデータ） (2023-06-08T14:05:06Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Synthesizing Mixed-type Electronic Health Records using Diffusion Models [10.973115905786129]
合成データ生成は、機密性の高い患者情報を共有する際のプライバシー上の懸念を軽減するための有望なソリューションである。近年の研究では、拡散モデルは、より現実的な合成データの生成や、画像、テキスト、音声などのデータモダリティの生成における安定したトレーニングなど、GANに対していくつかの利点があることが示された。実験の結果,TabDDPMは,プライバシーとユーティリティのトレードオフを確認するプライバシー以外のすべての評価指標において,最先端モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-02-28T15:42:30Z)
Differentially Private Diffusion Models Generate Useful Synthetic Images [53.94025967603649]
近年の研究では、いくつかの拡散モデルの出力がトレーニングデータのプライバシを保持していないことが報告されている。 CIFAR-10 と Camelyon17 のSOTA 結果を得た。以上の結果から,差分プライバシーで微調整された拡散モデルが有用かつ実証可能なプライベートな合成データを生成できることが示唆された。
論文参考訳（メタデータ） (2023-02-27T15:02:04Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。