論文の概要: SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.04852v1
• Date: Fri, 06 Dec 2024 08:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:11.299668
• Title: SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models
• Title（参考訳）: SleeperMark: 微調整テキスト-画像拡散モデルに対するロバストな透かし
• Authors: Zilan Wang, Junfeng Guo, Jiacheng Zhu, Yiming Li, Heng Huang, Muhao Chen, Zhengzhong Tu,
• Abstract要約: SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。 モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
• 参考スコア（独自算出の注目度）: 77.80595722480074
• License:
• Abstract: Recent advances in large-scale text-to-image (T2I) diffusion models have enabled a variety of downstream applications, including style customization, subject-driven personalization, and conditional generation. As T2I models require extensive data and computational resources for training, they constitute highly valued intellectual property (IP) for their legitimate owners, yet making them incentive targets for unauthorized fine-tuning by adversaries seeking to leverage these models for customized, usually profitable applications. Existing IP protection methods for diffusion models generally involve embedding watermark patterns and then verifying ownership through generated outputs examination, or inspecting the model's feature space. However, these techniques are inherently ineffective in practical scenarios when the watermarked model undergoes fine-tuning, and the feature space is inaccessible during verification ((i.e., black-box setting). The model is prone to forgetting the previously learned watermark knowledge when it adapts to a new task. To address this challenge, we propose SleeperMark, a novel framework designed to embed resilient watermarks into T2I diffusion models. SleeperMark explicitly guides the model to disentangle the watermark information from the semantic concepts it learns, allowing the model to retain the embedded watermark while continuing to be fine-tuned to new downstream tasks. Our extensive experiments demonstrate the effectiveness of SleeperMark across various types of diffusion models, including latent diffusion models (e.g., Stable Diffusion) and pixel diffusion models (e.g., DeepFloyd-IF), showing robustness against downstream fine-tuning and various attacks at both the image and model levels, with minimal impact on the model's generative capability. The code is available at https://github.com/taco-group/SleeperMark.
• Abstract（参考訳）: 大規模テキスト・ツー・イメージ(T2I)拡散モデルの最近の進歩は、スタイルのカスタマイズ、主観的パーソナライゼーション、条件付き生成など、様々なダウンストリームアプリケーションを可能にしている。 T2Iモデルはトレーニングに膨大なデータと計算資源を必要とするため、彼らは正当な所有者にとって高い価値を持つ知的財産権(IP)を構成している。 拡散モデルの既存のIP保護手法は一般的に、透かしパターンを埋め込んだ後、生成された出力検査やモデルの特徴空間の検査を通じて所有権を検証する。 しかし、これらの手法は、ウォーターマークされたモデルが微調整を行う場合の実践シナリオでは本質的に効果がなく、検証中は特徴空間が到達できない(ブラックボックスの設定)。 モデルは、新しいタスクに適応するとき、以前に学習した透かしの知識を忘れやすい。 この課題に対処するため、T2I拡散モデルにレジリエントな透かしを埋め込むように設計された新しいフレームワークであるSleeperMarkを提案する。 SleeperMarkは、学習したセマンティック概念から透かし情報を切り離すよう、モデルを明示的にガイドする。 広範にわたる実験により,潜時拡散モデル(例えば,安定拡散)やピクセル拡散モデル(例えば,DeepFloyd-IF)など,様々な拡散モデルにおけるSleeperMarkの有効性が示された。 コードはhttps://github.com/taco-group/SleeperMarkで入手できる。

関連論文リスト

• Exploiting Watermark-Based Defense Mechanisms in Text-to-Image Diffusion Models for Unauthorized Data Usage [14.985938758090763]
  安定拡散のようなテキストと画像の拡散モデルは、高品質な画像を生成するのに例外的な可能性を示している。 近年の研究では、これらのモデルのトレーニングに不正データを使用することが懸念されており、知的財産権侵害やプライバシー侵害につながる可能性がある。 本稿では、拡散過程を利用して保護された入力に対して制御された画像を生成するRATTANを提案する。
  論文  参考訳（メタデータ） (2024-11-22T22:28:19Z)
• AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA [67.68750063537482]
  拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
  論文  参考訳（メタデータ） (2024-05-18T01:25:47Z)
• Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models [71.13610023354967]
  著作権保護と不適切なコンテンツ生成は、拡散モデルの実装に課題をもたらす。 本研究では,性能ロスレスかつトレーニング不要な拡散モデル透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T13:30:10Z)
• A Watermark-Conditioned Diffusion Model for IP Protection [31.969286898467985]
  拡散モデルにおけるコンテンツ著作権保護のための統一的な透かしフレームワークを提案する。 そこで我々はWaDiffと呼ばれるWadmark条件付き拡散モデルを提案する。 本手法は,検出タスクと所有者識別タスクの両方において有効かつ堅牢である。
  論文  参考訳（メタデータ） (2024-03-16T11:08:15Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• Intellectual Property Protection of Diffusion Models via the Watermark Diffusion Process [22.38407658885059]
  本稿では,タスク生成時に透かしを印字せずに拡散モデルに新しい透かし手法であるWDMを紹介する。 タスク生成のための標準的な拡散プロセスと並行して、透かしを埋め込むための透かし拡散プロセス(WDP)を同時に学習するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-06T06:31:07Z)
• Model Watermarking for Image Processing Networks [120.918532981871]
  深層モデルの知的財産権を保護する方法は、非常に重要であるが、真に研究されていない問題である。 画像処理モデルを保護するための最初のモデル透かしフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T18:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。