論文の概要: Privacy-Preserving Diffusion Model Using Homomorphic Encryption
- arxiv url: http://arxiv.org/abs/2403.05794v2
- Date: Thu, 2 May 2024 03:46:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 21:31:27.652830
- Title: Privacy-Preserving Diffusion Model Using Homomorphic Encryption
- Title(参考訳): 均一暗号を用いたプライバシー保護拡散モデル
- Authors: Yaojian Chen, Qiben Yan,
- Abstract要約: HE拡散(HE-Diffusion)と呼ばれる同相暗号を利用したプライバシー保護型安定拡散フレームワークを提案する。
本稿では,効率的な部分的画像暗号化を実現するための新しいミン歪み法を提案する。
HEベースのプライバシ保存型安定拡散推論の実装に成功した。
- 参考スコア(独自算出の注目度): 5.282062491549009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a privacy-preserving stable diffusion framework leveraging homomorphic encryption, called HE-Diffusion, which primarily focuses on protecting the denoising phase of the diffusion process. HE-Diffusion is a tailored encryption framework specifically designed to align with the unique architecture of stable diffusion, ensuring both privacy and functionality. To address the inherent computational challenges, we propose a novel min-distortion method that enables efficient partial image encryption, significantly reducing the overhead without compromising the model's output quality. Furthermore, we adopt a sparse tensor representation to expedite computational operations, enhancing the overall efficiency of the privacy-preserving diffusion process. We successfully implement HE-based privacy-preserving stable diffusion inference. The experimental results show that HE-Diffusion achieves 500 times speedup compared with the baseline method, and reduces time cost of the homomorphically encrypted inference to the minute level. Both the performance and accuracy of the HE-Diffusion are on par with the plaintext counterpart. Our approach marks a significant step towards integrating advanced cryptographic techniques with state-of-the-art generative models, paving the way for privacy-preserving and efficient image generation in critical applications.
- Abstract(参考訳): 本稿では, HE拡散法(HE-Diffusion) と呼ばれる, 拡散過程のデノナイズフェーズの保護を主眼とした同相暗号を利用した, プライバシ保護型安定拡散フレームワークを提案する。
HE-Diffusionは、プライバシと機能の両方を確実にする、安定した拡散のユニークなアーキテクチャに合わせて設計された、カスタマイズされた暗号化フレームワークである。
そこで本研究では,提案手法を用いて,効率的な部分的画像暗号化を実現し,出力品質を損なうことなくオーバヘッドを大幅に低減する手法を提案する。
さらに、スパーステンソル表現を用いて計算処理を高速化し、プライバシ保存拡散プロセスの全体的な効率を向上させる。
HEベースのプライバシ保存型安定拡散推論の実装に成功した。
実験の結果,HE-Diffusionはベースライン法と比較して500倍の高速化を実現し,同型暗号化推論の時間コストを極小レベルまで低減することがわかった。
HE-Diffusionの性能と精度は、平文と同等である。
弊社のアプローチは、高度な暗号技術と最先端の生成モデルを統合するための重要なステップであり、重要なアプリケーションにおけるプライバシー保護と効率的な画像生成の道を開く。
関連論文リスト
- Masked Autoencoders Are Effective Tokenizers for Diffusion Models [56.08109308294133]
MAETokは自己エンコーダであり、再構築の忠実さを維持しながら意味的にリッチな潜在空間を学習する。
MaETokは1.69のgFIDで76倍高速トレーニングが可能で、512x512世代で31倍高い推論スループットを実現している。
論文 参考訳(メタデータ) (2025-02-05T18:42:04Z) - Fed-AugMix: Balancing Privacy and Utility via Data Augmentation [15.325493418326117]
緩やかな漏洩攻撃は、連合学習のプライバシー保証に重大な脅威をもたらす。
本稿では,プライバシ・ユーティリティのトレードオフを実現するために,新たなデータ拡張ベースのフレームワークを提案する。
我々のフレームワークは、AugMixアルゴリズムをクライアントレベルで組み込んで、制御可能な重大度でデータ拡張を可能にする。
論文 参考訳(メタデータ) (2024-12-18T13:05:55Z) - FaithDiff: Unleashing Diffusion Priors for Faithful Image Super-resolution [48.88184541515326]
本稿では,忠実な画像SRのための遅延拡散モデル(LDM)のパワーをフル活用するために,FithDiffというシンプルで効果的な手法を提案する。
高品質画像上で事前学習した拡散モデルを凍結する既存の拡散ベースSR法とは対照的に,有用な情報を特定し,忠実な構造を復元する前に拡散を解き放つことを提案する。
論文 参考訳(メタデータ) (2024-11-27T23:58:03Z) - Differentially Private Adaptation of Diffusion Models via Noisy Aggregated Embeddings [23.687702204151872]
差分プライバシー制約下で拡散モデルを適用する新しい手法を導入し、微調整なしでプライバシー保護スタイルとコンテンツ転送を可能にする。
これらの手法を,パリ2024年パリオリンピックの美術品コレクションとピクトグラムの2つのプライベートデータセットを用いて,スタイル適応のための安定拡散に適用する。
実験結果から, タイベース適応は, 強いプライバシー保証の下でも, スタイル伝達において優れた忠実性が得られることが示された。
論文 参考訳(メタデータ) (2024-11-22T00:09:49Z) - Edge-preserving noise for diffusion models [4.435514696080208]
本稿では,拡散確率モデル(DDPM)を一般化した新しいエッジ保存拡散モデルを提案する。
特に、エッジ保存と等方性ガウスノイズの間で異なるエッジ対応ノイズスケジューラを導入する。
モデルの生成過程はより高速に収束し, 対象の分布とより密に一致していることを示す。
論文 参考訳(メタデータ) (2024-10-02T13:29:52Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳(メタデータ) (2024-02-16T16:41:14Z) - Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。
この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
論文 参考訳(メタデータ) (2023-06-02T20:19:19Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - SafeDiffuser: Safe Planning with Diffusion Probabilistic Models [97.80042457099718]
拡散モデルに基づくアプローチは、データ駆動計画において有望であるが、安全保証はない。
我々は,拡散確率モデルが仕様を満たすことを保証するために,SafeDiffuserと呼ばれる新しい手法を提案する。
提案手法は,迷路経路の生成,足歩行ロボットの移動,空間操作など,安全な計画作業の一連のテストを行う。
論文 参考訳(メタデータ) (2023-05-31T19:38:12Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。