論文の概要: Enhancing Privacy in ControlNet and Stable Diffusion via Split Learning
- arxiv url: http://arxiv.org/abs/2409.08503v1
- Date: Fri, 13 Sep 2024 02:55:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 17:58:09.214970
- Title: Enhancing Privacy in ControlNet and Stable Diffusion via Split Learning
- Title（参考訳）: 分割学習による制御ネットと安定拡散のプライバシー向上
- Authors: Dixi Yao,
- Abstract要約: 従来のフェデレーション学習と分割学習は,制御ネット学習には適さない。
本稿では,サーバが勾配を戻す必要をなくす分散学習構造を提案する。
本稿では,プライバシ保護のためのアクティベーション機能と,プライベートテキストのプロンプトがクライアントを去るのを防ぐ方法を提案する。
- 参考スコア（独自算出の注目度）: 0.10878040851638002
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the emerging trend of large generative models, ControlNet is introduced to enable users to fine-tune pre-trained models with their own data for various use cases. A natural question arises: how can we train ControlNet models while ensuring users' data privacy across distributed devices? Exploring different distributed training schemes, we find conventional federated learning and split learning unsuitable. Instead, we propose a new distributed learning structure that eliminates the need for the server to send gradients back. Through a comprehensive evaluation of existing threats, we discover that in the context of training ControlNet with split learning, most existing attacks are ineffective, except for two mentioned in previous literature. To counter these threats, we leverage the properties of diffusion models and design a new timestep sampling policy during forward processes. We further propose a privacy-preserving activation function and a method to prevent private text prompts from leaving clients, tailored for image generation with diffusion models. Our experimental results demonstrate that our algorithms and systems greatly enhance the efficiency of distributed training for ControlNet while ensuring users' data privacy without compromising image generation quality.
- Abstract（参考訳）: 大規模な生成モデルの増加に伴い、さまざまなユースケースのために、ユーザが独自のデータでトレーニング済みモデルを微調整できるように、ControlNetが導入された。
ControlNetモデルをどのようにトレーニングし、ユーザのデータプライバシを分散デバイス間で保証するか?
異なる分散学習手法を探索した結果,従来のフェデレーション学習と分割学習は不適当であることが判明した。
代わりに、サーバが勾配を返送する必要がない新しい分散学習構造を提案する。
既存の脅威を包括的に評価することで、従来の文献で言及された2つを除いて、制御ネットを分割学習で訓練する場合、既存の攻撃は効果がないことがわかった。
これらの脅威に対処するために、拡散モデルの特性を活用し、前進過程における新しい時間ステップサンプリングポリシーを設計する。
また、拡散モデルを用いた画像生成に適したプライバシー保護機能と、プライベートテキストのプロンプトがクライアントを去るのを防ぐ方法を提案する。
実験の結果,我々のアルゴリズムとシステムは,画像生成品質を損なうことなく,ユーザのデータプライバシを確保しつつ,コントロールネットの分散トレーニングの効率を大幅に向上することを示した。
関連論文リスト
- Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。
提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文 参考訳（メタデータ） (2024-11-04T21:27:06Z) - Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。
いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。
本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
論文 参考訳（メタデータ） (2024-08-30T15:35:09Z) - Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - Ungeneralizable Examples [70.76487163068109]
学習不能なデータを作成するための現在のアプローチには、小さくて特殊なノイズが組み込まれている。
学習不能データの概念を条件付きデータ学習に拡張し、textbfUntextbf Generalizable textbfExamples (UGEs)を導入する。
UGEは認証されたユーザに対して学習性を示しながら、潜在的なハッカーに対する非学習性を維持している。
論文 参考訳（メタデータ） (2024-04-22T09:29:14Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Rethinking Privacy in Machine Learning Pipelines from an Information
Flow Control Perspective [16.487545258246932]
現代の機械学習システムは、成長を続けるコーパスで訓練されたモデルを使用する。
オーナシップ、アクセス制御、ライセンス情報などのメタデータは、トレーニング中に無視される。
情報フロー制御の観点から機械学習システムを記述する。
論文 参考訳（メタデータ） (2023-11-27T13:14:39Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳（メタデータ） (2023-11-15T11:11:25Z) - A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated
Class Incremental Learning for Vision Tasks [34.971800168823215]
本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。
プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
論文 参考訳（メタデータ） (2023-11-13T22:21:27Z) - Privacy Side Channels in Machine Learning Systems [87.53240071195168]
プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。
例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。
さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
論文 参考訳（メタデータ） (2023-09-11T16:49:05Z) - Concentrated Differentially Private and Utility Preserving Federated
Learning [24.239992194656164]
フェデレーション・ラーニング(Federated Learning)とは、エッジデバイスのセットが、中央サーバのオーケストレーションの下でモデルを協調的にトレーニングする、機械学習環境である。
本稿では,モデルユーティリティの劣化を伴わずに,プライバシ問題に対処するフェデレーション学習手法を開発する。
このアプローチのエンドツーエンドのプライバシ保証を厳格に提供し、理論的収束率を分析します。
論文 参考訳（メタデータ） (2020-03-30T19:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。