論文の概要: AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA

• arxiv url: http://arxiv.org/abs/2405.11135v1
• Date: Sat, 18 May 2024 01:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 19:17:16.079426
• Title: AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA
• Title（参考訳）: AquaLoRA:Watermark LoRAによるカスタマイズ安定拡散モデルのホワイトボックス保護に向けて
• Authors: Weitao Feng, Wenbo Zhou, Jiyan He, Jie Zhang, Tianyi Wei, Guanlin Li, Tianwei Zhang, Weiming Zhang, Nenghai Yu,
• Abstract要約: 拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
• 参考スコア（独自算出の注目度）: 67.68750063537482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in generating high-quality images. Recently, the open-source models represented by Stable Diffusion (SD) are thriving and are accessible for customization, giving rise to a vibrant community of creators and enthusiasts. However, the widespread availability of customized SD models has led to copyright concerns, like unauthorized model distribution and unconsented commercial use. To address it, recent works aim to let SD models output watermarked content for post-hoc forensics. Unfortunately, none of them can achieve the challenging white-box protection, wherein the malicious user can easily remove or replace the watermarking module to fail the subsequent verification. For this, we propose \texttt{\method} as the first implementation under this scenario. Briefly, we merge watermark information into the U-Net of Stable Diffusion Models via a watermark Low-Rank Adaptation (LoRA) module in a two-stage manner. For watermark LoRA module, we devise a scaling matrix to achieve flexible message updates without retraining. To guarantee fidelity, we design Prior Preserving Fine-Tuning (PPFT) to ensure watermark learning with minimal impacts on model distribution, validated by proofs. Finally, we conduct extensive experiments and ablation studies to verify our design.
• Abstract（参考訳）: 拡散モデルは高品質な画像の生成において顕著な成功を収めた。 近年、SD(Stable Diffusion)で代表されるオープンソースモデルは繁栄しており、カスタマイズが可能であるため、クリエーターや愛好家による活発なコミュニティが生まれている。 しかし、カスタマイズされたSDモデルの普及により、未承認のモデル配布や未合意の商用利用といった著作権上の懸念が生じている。 この問題に対処するため、最近の研究はSDモデルがポストホック法医学のための透かし付きコンテンツを出力することを目標としている。 残念なことに、これらはいずれも難易度の高いホワイトボックス保護を達成できないため、悪意のあるユーザは、透かしモジュールを削除または置き換えて、その後の検証に失敗することが可能になる。 このため、このシナリオで最初に実装されるのが \texttt{\method} である。 簡単に言えば、透かしの低ランク適応(LoRA)モジュールを2段階的に使用して、透かし情報を安定拡散モデルのU-Netにマージする。 ウォーターマークLoRAモジュールの場合、再トレーニングせずに柔軟なメッセージ更新を実現するためのスケーリング行列を考案する。 本研究は,モデル分布への影響を最小限に抑えた透かし学習を実現するために,Prior Preserving Fine-Tuning (PPFT) を設計した。 最後に,我々の設計を検証するため,広範囲な実験とアブレーション研究を行った。

関連論文リスト

• Exploiting Watermark-Based Defense Mechanisms in Text-to-Image Diffusion Models for Unauthorized Data Usage [14.985938758090763]
  安定拡散のようなテキストと画像の拡散モデルは、高品質な画像を生成するのに例外的な可能性を示している。 近年の研究では、これらのモデルのトレーニングに不正データを使用することが懸念されており、知的財産権侵害やプライバシー侵害につながる可能性がある。 本稿では,テキスト・ツー・イメージ・モデルに適用された様々な透かしに基づく保護手法のロバスト性について検討する。
  論文  参考訳（メタデータ） (2024-11-22T22:28:19Z)
• JIGMARK: A Black-Box Approach for Enhancing Image Watermarks against Diffusion Model Edits [76.25962336540226]
  JIGMARKは、コントラスト学習による堅牢性を高める、第一級の透かし技術である。 本評価の結果,JIGMARKは既存の透かし法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T03:31:41Z)
• Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models [71.13610023354967]
  著作権保護と不適切なコンテンツ生成は、拡散モデルの実装に課題をもたらす。 本研究では,性能ロスレスかつトレーニング不要な拡散モデル透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T13:30:10Z)
• A Watermark-Conditioned Diffusion Model for IP Protection [31.969286898467985]
  拡散モデルにおけるコンテンツ著作権保護のための統一的な透かしフレームワークを提案する。 そこで我々はWaDiffと呼ばれるWadmark条件付き拡散モデルを提案する。 本手法は,検出タスクと所有者識別タスクの両方において有効かつ堅牢である。
  論文  参考訳（メタデータ） (2024-03-16T11:08:15Z)
• RobWE: Robust Watermark Embedding for Personalized Federated Learning Model Ownership Protection [29.48484160966728]
  本稿では,PFLにおけるパーソナライズされたモデルの所有権を保護するために,RobWEという名前の堅牢な透かし埋め込み方式を提案する。 まず、パーソナライズされたモデルの透かしを、ヘッド層埋め込みと表現層埋め込みという2つの部分に分割する。 表現層埋め込みには透かしスライス埋め込み操作を用い,透かしの埋め込み競合を回避する。
  論文  参考訳（メタデータ） (2024-02-29T11:31:50Z)
• Wide Flat Minimum Watermarking for Robust Ownership Verification of GANs [23.639074918667625]
  ホワイトボックス攻撃に対するロバスト性を向上したGANのための新しいマルチビット・ボックスフリー透かし手法を提案する。 透かしは、GANトレーニング中に余分な透かし損失項を追加することで埋め込む。 その結果,透かしの存在が画像の品質に与える影響は無視できることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T18:38:10Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• Fine-tuning Is Not Enough: A Simple yet Effective Watermark Removal Attack for DNN Models [72.9364216776529]
  我々は異なる視点から新しい透かし除去攻撃を提案する。 我々は、知覚不可能なパターン埋め込みと空間レベルの変換を組み合わせることで、単純だが強力な変換アルゴリズムを設計する。 我々の攻撃は、非常に高い成功率で最先端の透かしソリューションを回避できる。
  論文  参考訳（メタデータ） (2020-09-18T09:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。