論文の概要: AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA

• arxiv url: http://arxiv.org/abs/2405.11135v1
• Date: Sat, 18 May 2024 01:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 19:17:16.079426
• Title: AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA
• Title（参考訳）: AquaLoRA:Watermark LoRAによるカスタマイズ安定拡散モデルのホワイトボックス保護に向けて
• Authors: Weitao Feng, Wenbo Zhou, Jiyan He, Jie Zhang, Tianyi Wei, Guanlin Li, Tianwei Zhang, Weiming Zhang, Nenghai Yu,
• Abstract要約: 拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
• 参考スコア（独自算出の注目度）: 67.68750063537482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in generating high-quality images. Recently, the open-source models represented by Stable Diffusion (SD) are thriving and are accessible for customization, giving rise to a vibrant community of creators and enthusiasts. However, the widespread availability of customized SD models has led to copyright concerns, like unauthorized model distribution and unconsented commercial use. To address it, recent works aim to let SD models output watermarked content for post-hoc forensics. Unfortunately, none of them can achieve the challenging white-box protection, wherein the malicious user can easily remove or replace the watermarking module to fail the subsequent verification. For this, we propose \texttt{\method} as the first implementation under this scenario. Briefly, we merge watermark information into the U-Net of Stable Diffusion Models via a watermark Low-Rank Adaptation (LoRA) module in a two-stage manner. For watermark LoRA module, we devise a scaling matrix to achieve flexible message updates without retraining. To guarantee fidelity, we design Prior Preserving Fine-Tuning (PPFT) to ensure watermark learning with minimal impacts on model distribution, validated by proofs. Finally, we conduct extensive experiments and ablation studies to verify our design.
• Abstract（参考訳）: 拡散モデルは高品質な画像の生成において顕著な成功を収めた。 近年、SD(Stable Diffusion)で代表されるオープンソースモデルは繁栄しており、カスタマイズが可能であるため、クリエーターや愛好家による活発なコミュニティが生まれている。 しかし、カスタマイズされたSDモデルの普及により、未承認のモデル配布や未合意の商用利用といった著作権上の懸念が生じている。 この問題に対処するため、最近の研究はSDモデルがポストホック法医学のための透かし付きコンテンツを出力することを目標としている。 残念なことに、これらはいずれも難易度の高いホワイトボックス保護を達成できないため、悪意のあるユーザは、透かしモジュールを削除または置き換えて、その後の検証に失敗することが可能になる。 このため、このシナリオで最初に実装されるのが \texttt{\method} である。 簡単に言えば、透かしの低ランク適応(LoRA)モジュールを2段階的に使用して、透かし情報を安定拡散モデルのU-Netにマージする。 ウォーターマークLoRAモジュールの場合、再トレーニングせずに柔軟なメッセージ更新を実現するためのスケーリング行列を考案する。 本研究は,モデル分布への影響を最小限に抑えた透かし学習を実現するために,Prior Preserving Fine-Tuning (PPFT) を設計した。 最後に,我々の設計を検証するため,広範囲な実験とアブレーション研究を行った。

関連論文リスト

• Secure and Efficient Watermarking for Latent Diffusion Models in Model Distribution Scenarios [23.64920988914223]
  新しいセキュリティメカニズムは、透かしの漏れと透かしの脱出を防ぐように設計されている。 モデル分散シナリオにおける多様な攻撃に対する堅牢性を高めるために,透かし分布に基づく検証戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-18T23:55:33Z)
• RoboSignature: Robust Signature and Watermarking on Network Attacks [0.5461938536945723]
  本稿では,モデルが意図した透かしを埋め込む能力を阻害する新たな逆調整攻撃を提案する。 本研究は, 発生システムにおける潜在的な脆弱性を予知し, 防御することの重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-22T04:36:27Z)
• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。 モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• JIGMARK: A Black-Box Approach for Enhancing Image Watermarks against Diffusion Model Edits [76.25962336540226]
  JIGMARKは、コントラスト学習による堅牢性を高める、第一級の透かし技術である。 本評価の結果,JIGMARKは既存の透かし法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T03:31:41Z)
• Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models [71.13610023354967]
  著作権保護と不適切なコンテンツ生成は、拡散モデルの実装に課題をもたらす。 本研究では,性能ロスレスかつトレーニング不要な拡散モデル透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T13:30:10Z)
• RobWE: Robust Watermark Embedding for Personalized Federated Learning Model Ownership Protection [29.48484160966728]
  本稿では,PFLにおけるパーソナライズされたモデルの所有権を保護するために,RobWEという名前の堅牢な透かし埋め込み方式を提案する。 まず、パーソナライズされたモデルの透かしを、ヘッド層埋め込みと表現層埋め込みという2つの部分に分割する。 表現層埋め込みには透かしスライス埋め込み操作を用い,透かしの埋め込み競合を回避する。
  論文  参考訳（メタデータ） (2024-02-29T11:31:50Z)
• Wide Flat Minimum Watermarking for Robust Ownership Verification of GANs [23.639074918667625]
  ホワイトボックス攻撃に対するロバスト性を向上したGANのための新しいマルチビット・ボックスフリー透かし手法を提案する。 透かしは、GANトレーニング中に余分な透かし損失項を追加することで埋め込む。 その結果,透かしの存在が画像の品質に与える影響は無視できることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T18:38:10Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• Fine-tuning Is Not Enough: A Simple yet Effective Watermark Removal Attack for DNN Models [72.9364216776529]
  我々は異なる視点から新しい透かし除去攻撃を提案する。 我々は、知覚不可能なパターン埋め込みと空間レベルの変換を組み合わせることで、単純だが強力な変換アルゴリズムを設計する。 我々の攻撃は、非常に高い成功率で最先端の透かしソリューションを回避できる。
  論文  参考訳（メタデータ） (2020-09-18T09:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。