論文の概要: FreezeAsGuard: Mitigating Illegal Adaptation of Diffusion Models via Selective Tensor Freezing

• arxiv url: http://arxiv.org/abs/2405.17472v1
• Date: Fri, 24 May 2024 03:23:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 00:10:18.962309
• Title: FreezeAsGuard: Mitigating Illegal Adaptation of Diffusion Models via Selective Tensor Freezing
• Title（参考訳）: FreezeAsGuard:選択的なテンソル凍結による拡散モデルの不規則適応の軽減
• Authors: Kai Huang, Wei Gao,
• Abstract要約: 本稿では,拡散モデルの非可逆的適応を可能にする技術であるFreezeAsGuardを提案する。 基本的アプローチは、モデルパブリッシャが不正なモデル適応に不可欠な事前訓練された拡散モデルにおいてテンソルを選択的に凍結することである。 実験の結果,FreezeAsGuardは偽の人物の肖像を制作する違法なモデル適応を緩和する強力な力を持っていることがわかった。
• 参考スコア（独自算出の注目度）: 10.557086968942498
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-image diffusion models can be fine-tuned in custom domains to adapt to specific user preferences, but such unconstrained adaptability has also been utilized for illegal purposes, such as forging public figures' portraits and duplicating copyrighted artworks. Most existing work focuses on detecting the illegally generated contents, but cannot prevent or mitigate illegal adaptations of diffusion models. Other schemes of model unlearning and reinitialization, similarly, cannot prevent users from relearning the knowledge of illegal model adaptation with custom data. In this paper, we present FreezeAsGuard, a new technique that addresses these limitations and enables irreversible mitigation of illegal adaptations of diffusion models. The basic approach is that the model publisher selectively freezes tensors in pre-trained diffusion models that are critical to illegal model adaptations, to mitigate the fine-tuned model's representation power in illegal domains but minimize the impact on legal model adaptations in other domains. Such tensor freezing can be enforced via APIs provided by the model publisher for fine-tuning, can motivate users' adoption due to its computational savings. Experiment results with datasets in multiple domains show that FreezeAsGuard provides stronger power in mitigating illegal model adaptations of generating fake public figures' portraits, while having the minimum impact on model adaptation in other legal domains. The source code is available at: https://github.com/pittisl/FreezeAsGuard/
• Abstract（参考訳）: テキストと画像の拡散モデルは、特定のユーザの好みに適応するためにカスタムドメインで微調整することができるが、そのような制約のない適応性は、公共の人物の肖像画の偽造や著作権のあるアートワークの複製など、違法な目的にも利用されてきた。 既存の研究の多くは、違法に生成されたコンテンツを検出することに重点を置いているが、拡散モデルの違法な適応を予防または緩和することはできない。 モデルアンラーニングと再初期化の他のスキームは、ユーザーがカスタムデータを使って違法なモデル適応の知識を再学習するのを防ぐことができない。 本稿では,これらの制限に対処し,拡散モデルの違法適応を不可逆的に緩和する新しい手法であるFreezeAsGuardを提案する。 基本的アプローチは、モデルパブリッシャが、違法なモデル適応に不可欠な事前訓練された拡散モデルのテンソルを選択的に凍結し、不正なドメインにおける微調整モデルの表現力を緩和するが、他のドメインにおける法的なモデル適応への影響を最小限に抑えることである。 このようなテンソル凍結は、微調整のためにモデルパブリッシャが提供するAPIを通じて実施することができ、計算コストの削減によってユーザの採用を動機付けることができる。 複数のドメインにおけるデータセットによる実験結果から、FreezeAsGuardは、偽の公開人物の肖像画を生成することによる違法なモデル適応を緩和する上で、他の法律領域におけるモデル適応に最小限の影響を与える。 ソースコードは、https://github.com/pittisl/FreezeAsGuard/で入手できる。

関連論文リスト

• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。 モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• Safety Alignment Backfires: Preventing the Re-emergence of Suppressed Concepts in Fine-tuned Text-to-Image Diffusion Models [57.16056181201623]
  微調整されたテキストと画像の拡散モデルは、必然的に安全対策を解除し、有害な概念を再現する。 本報告では,Funice-Tuning LoRAコンポーネントとは別に,安全性の低い適応モジュールをトレーニングする,Modular LoRAと呼ばれる新しいソリューションを提案する。 本手法は,新しいタスクにおけるモデルの性能を損なうことなく,有害なコンテンツの再学習を効果的に防止する。
  論文  参考訳（メタデータ） (2024-11-30T04:37:38Z)
• Risks When Sharing LoRA Fine-Tuned Diffusion Model Weights [0.10878040851638002]
  本研究では, 微調整拡散モデルのプライバシー漏洩問題について, 現実的に検討する。 敵は、プライベート画像と同じIDを含む画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-13T02:13:26Z)
• Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models [71.13610023354967]
  著作権保護と不適切なコンテンツ生成は、拡散モデルの実装に課題をもたらす。 本研究では,性能ロスレスかつトレーニング不要な拡散モデル透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T13:30:10Z)
• IMMA: Immunizing text-to-image Models against Malicious Adaptation [11.912092139018885]
  オープンソースのテキスト・ツー・イメージ・モデルと微調整手法は、悪意のある適応のリスク、すなわち、有害で無許可なコンテンツを生成するための微調整のリスクを増大させてきた。 本稿では,悪意のあるコンテンツを微調整する際の適応手法が難しいモデルパラメータを学習し,そのモデルに対する「免疫」を提案する。 実験結果から,IMMAの芸術的スタイルの模倣や不適切・無許可なコンテンツの学習など,悪意ある適応に対する効果が示された。
  論文  参考訳（メタデータ） (2023-11-30T18:55:16Z)
• Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback [97.0874638345205]
  生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。 提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。 拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-27T18:59:53Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• AdaptGuard: Defending Against Universal Attacks for Model Adaptation [129.2012687550069]
  モデル適応アルゴリズムにおいて、ソースドメインから転送されるユニバーサルアタックに対する脆弱性について検討する。 本稿では,モデル適応アルゴリズムの安全性を向上させるために,AdaptGuardというモデル前処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-19T07:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。