論文の概要: Differentially Private Fine-Tuning of Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.01355v1
• Date: Mon, 3 Jun 2024 14:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:49:47.421401
• Title: Differentially Private Fine-Tuning of Diffusion Models
• Title（参考訳）: 拡散モデルの微分プライベート微調整
• Authors: Yu-Lin Tsai, Yizhe Li, Zekai Chen, Po-Yu Chen, Chia-Mu Yu, Xuebin Ren, Francois Buet-Golfouse,
• Abstract要約: 微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
• 参考スコア（独自算出の注目度）: 22.454127503937883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of Differential Privacy (DP) with diffusion models (DMs) presents a promising yet challenging frontier, particularly due to the substantial memorization capabilities of DMs that pose significant privacy risks. Differential privacy offers a rigorous framework for safeguarding individual data points during model training, with Differential Privacy Stochastic Gradient Descent (DP-SGD) being a prominent implementation. Diffusion method decomposes image generation into iterative steps, theoretically aligning well with DP's incremental noise addition. Despite the natural fit, the unique architecture of DMs necessitates tailored approaches to effectively balance privacy-utility trade-off. Recent developments in this field have highlighted the potential for generating high-quality synthetic data by pre-training on public data (i.e., ImageNet) and fine-tuning on private data, however, there is a pronounced gap in research on optimizing the trade-offs involved in DP settings, particularly concerning parameter efficiency and model scalability. Our work addresses this by proposing a parameter-efficient fine-tuning strategy optimized for private diffusion models, which minimizes the number of trainable parameters to enhance the privacy-utility trade-off. We empirically demonstrate that our method achieves state-of-the-art performance in DP synthesis, significantly surpassing previous benchmarks on widely studied datasets (e.g., with only 0.47M trainable parameters, achieving a more than 35% improvement over the previous state-of-the-art with a small privacy budget on the CelebA-64 dataset). Anonymous codes available at https://anonymous.4open.science/r/DP-LORA-F02F.
• Abstract（参考訳）: 差分プライバシー(DP)と拡散モデル(DM)の統合は、特にかなりのプライバシーリスクをもたらすDMの記憶能力のために、有望だが挑戦的なフロンティアを示す。 差分プライバシーは、モデルトレーニング中に個々のデータポイントを保護するための厳格なフレームワークを提供する。 拡散法は画像生成を反復的なステップに分解し、理論的にはDPのインクリメンタルノイズ付加と整合する。 自然に適合しているにもかかわらず、DMのユニークなアーキテクチャは、プライバシーとユーティリティのトレードオフを効果的にバランスをとるために、カスタマイズされたアプローチを必要とする。 この分野での最近の進歩は、公開データ(イメージネット)で事前学習し、プライベートデータで微調整することで高品質な合成データを生成する可能性を強調しているが、DP設定におけるトレードオフの最適化、特にパラメータ効率とモデルのスケーラビリティに関する研究において、明らかなギャップがある。 我々の研究は、プライベート拡散モデルに最適化されたパラメータ効率の良い微調整戦略を提案し、プライバシーとユーティリティのトレードオフを強化するためにトレーニング可能なパラメータの数を最小化する。 提案手法はDP合成における最先端性を実現し,広く研究されているデータセットのベンチマークを著しく上回り,トレーニング可能なパラメータが0.47Mに留まり,CelebA-64データセットのプライバシ予算が小さく,従来の最先端性よりも35%以上改善されていることを実証的に実証した。 anonymous codes available at https://anonymous.4open.science/r/DP-LORA-F02F

関連論文リスト

• Quantifying and Mitigating Privacy Risks for Tabular Generative Models [13.153278585144355]
  生成モデルからの合成データは、プライバシを保存するデータ共有ソリューションとして現れる。 本稿では,DP-TLDM,差分プライベートタブララプレント拡散モデルを提案する。 DP-TLDMは, 平均データ類似度35%, 下流タスク用ユーティリティ15%, データの識別性50%で, 合成品質の向上を図っている。
  論文  参考訳（メタデータ） (2024-03-12T17:27:49Z)
• Pre-training Differentially Private Models with Limited Public Data [58.945400707033016]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公開データの10%しか利用しない新しいDP継続事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [54.24600476755372]
  DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。 DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• DPGOMI: Differentially Private Data Publishing with Gaussian Optimized Model Inversion [8.204115285718437]
  本稿では,ガウス最適化モデルインバージョン(DPGOMI)を用いた微分プライベートデータパブリッシングを提案し,この問題に対処する。 提案手法では, パブリックジェネレータを用いてプライベートデータを潜時空間にマッピングし, コンバージェンス特性が向上した低次元DP-GANを用いる。 以上の結果から,DPGOMIは,インセプションスコア,Freche't Inception Distance,分類性能において,標準DP-GAN法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-06T18:46:22Z)
• Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens [10.727571921061024]
  Differentially Private Descent Gradient (DPSGD)は、プライバシ保護モデルをトレーニングするための最先端の手法である。 アクティベーション関数をドロップインで置き換えることで、新しい最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-03-03T09:59:42Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation [15.63770709526671]
  スケーラブルなプライバシー保護生成モデルDataLENSを提案します。 その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。 DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
  論文  参考訳（メタデータ） (2021-03-20T06:14:19Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。