論文の概要: FreezeAsGuard: Mitigating Illegal Adaptation of Diffusion Models via Selective Tensor Freezing

• arxiv url: http://arxiv.org/abs/2405.17472v2
• Date: Wed, 27 Nov 2024 04:43:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:46.927899
• Title: FreezeAsGuard: Mitigating Illegal Adaptation of Diffusion Models via Selective Tensor Freezing
• Title（参考訳）: FreezeAsGuard:選択的なテンソル凍結による拡散モデルの不規則適応の軽減
• Authors: Kai Huang, Haoming Wang, Wei Gao,
• Abstract要約: 本稿では,拡散モデルの非可逆的適応を可能にする技術であるFreezeAsGuardを提案する。 実験結果から,FreezeAsGuardは,競争ベースラインと比較して,違法なモデル適応を緩和する上で,37%の強力なパワーを提供することがわかった。
• 参考スコア（独自算出の注目度）: 9.598086319369694
• License:
• Abstract: Text-to-image diffusion models can be fine-tuned in custom domains to adapt to specific user preferences, but such adaptability has also been utilized for illegal purposes, such as forging public figures' portraits, duplicating copyrighted artworks and generating explicit contents. Existing work focused on detecting the illegally generated contents, but cannot prevent or mitigate illegal adaptations of diffusion models. Other schemes of model unlearning and reinitialization, similarly, cannot prevent users from relearning the knowledge of illegal model adaptation with custom data. In this paper, we present FreezeAsGuard, a new technique that addresses these limitations and enables irreversible mitigation of illegal adaptations of diffusion models. Our approach is that the model publisher selectively freezes tensors in pre-trained diffusion models that are critical to illegal model adaptations, to mitigate the fine-tuned model's representation power in illegal adaptations, but minimize the impact on other legal adaptations. Experiment results in multiple text-to-image application domains show that FreezeAsGuard provides 37% stronger power in mitigating illegal model adaptations compared to competitive baselines, while incurring less than 5% impact on legal model adaptations. The source code is available at: https://github.com/pittisl/FreezeAsGuard.
• Abstract（参考訳）: テキストと画像の拡散モデルは、特定のユーザの好みに適応するためにカスタムドメインで微調整することができるが、そのような適応性は、公共の人物の肖像画の偽造、著作権のあるアートワークの複製、明示的なコンテンツの生成など、違法な目的にも利用されてきた。 既存の研究は、違法に生成されたコンテンツを検出することに重点を置いているが、拡散モデルの違法な適応を予防または緩和することはできない。 モデルアンラーニングと再初期化の他のスキームは、ユーザーがカスタムデータを使って違法なモデル適応の知識を再学習するのを防ぐことができない。 本稿では,これらの制限に対処し,拡散モデルの違法適応を不可逆的に緩和する新しい手法であるFreezeAsGuardを提案する。 提案手法は,非合法なモデル適応に不可欠な事前学習拡散モデルのテンソルを選択的に凍結し,非合法なモデル適応における微調整モデルの表現力を緩和するが,他の法的な適応への影響を最小限に抑えることである。 実験の結果、複数のテキスト・ツー・イメージのアプリケーションドメインで、FreezeAsGuardは競争ベースラインに比べて37%の力で違法なモデル適応を緩和する一方で、法的なモデル適応に5%以下の影響を与えることが示された。 ソースコードは、https://github.com/pittisl/FreezeAsGuard.comで入手できる。

関連論文リスト

• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。 モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• Safety Alignment Backfires: Preventing the Re-emergence of Suppressed Concepts in Fine-tuned Text-to-Image Diffusion Models [57.16056181201623]
  微調整されたテキストと画像の拡散モデルは、必然的に安全対策を解除し、有害な概念を再現する。 本報告では,Funice-Tuning LoRAコンポーネントとは別に,安全性の低い適応モジュールをトレーニングする,Modular LoRAと呼ばれる新しいソリューションを提案する。 本手法は,新しいタスクにおけるモデルの性能を損なうことなく,有害なコンテンツの再学習を効果的に防止する。
  論文  参考訳（メタデータ） (2024-11-30T04:37:38Z)
• Risks When Sharing LoRA Fine-Tuned Diffusion Model Weights [0.10878040851638002]
  本研究では, 微調整拡散モデルのプライバシー漏洩問題について, 現実的に検討する。 敵は、プライベート画像と同じIDを含む画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-13T02:13:26Z)
• Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models [71.13610023354967]
  著作権保護と不適切なコンテンツ生成は、拡散モデルの実装に課題をもたらす。 本研究では,性能ロスレスかつトレーニング不要な拡散モデル透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T13:30:10Z)
• IMMA: Immunizing text-to-image Models against Malicious Adaptation [11.912092139018885]
  オープンソースのテキスト・ツー・イメージ・モデルと微調整手法は、悪意のある適応のリスク、すなわち、有害で無許可なコンテンツを生成するための微調整のリスクを増大させてきた。 本稿では,悪意のあるコンテンツを微調整する際の適応手法が難しいモデルパラメータを学習し,そのモデルに対する「免疫」を提案する。 実験結果から,IMMAの芸術的スタイルの模倣や不適切・無許可なコンテンツの学習など,悪意ある適応に対する効果が示された。
  論文  参考訳（メタデータ） (2023-11-30T18:55:16Z)
• Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback [97.0874638345205]
  生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。 提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。 拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-27T18:59:53Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• AdaptGuard: Defending Against Universal Attacks for Model Adaptation [129.2012687550069]
  モデル適応アルゴリズムにおいて、ソースドメインから転送されるユニバーサルアタックに対する脆弱性について検討する。 本稿では,モデル適応アルゴリズムの安全性を向上させるために,AdaptGuardというモデル前処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-19T07:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。