論文の概要: FreezeAsGuard: Mitigating Illegal Adaptation of Diffusion Models via Selective Tensor Freezing

• arxiv url: http://arxiv.org/abs/2405.17472v1
• Date: Fri, 24 May 2024 03:23:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 00:10:18.962309
• Title: FreezeAsGuard: Mitigating Illegal Adaptation of Diffusion Models via Selective Tensor Freezing
• Title（参考訳）: FreezeAsGuard:選択的なテンソル凍結による拡散モデルの不規則適応の軽減
• Authors: Kai Huang, Wei Gao,
• Abstract要約: 本稿では,拡散モデルの非可逆的適応を可能にする技術であるFreezeAsGuardを提案する。 基本的アプローチは、モデルパブリッシャが不正なモデル適応に不可欠な事前訓練された拡散モデルにおいてテンソルを選択的に凍結することである。 実験の結果,FreezeAsGuardは偽の人物の肖像を制作する違法なモデル適応を緩和する強力な力を持っていることがわかった。
• 参考スコア（独自算出の注目度）: 10.557086968942498
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-image diffusion models can be fine-tuned in custom domains to adapt to specific user preferences, but such unconstrained adaptability has also been utilized for illegal purposes, such as forging public figures' portraits and duplicating copyrighted artworks. Most existing work focuses on detecting the illegally generated contents, but cannot prevent or mitigate illegal adaptations of diffusion models. Other schemes of model unlearning and reinitialization, similarly, cannot prevent users from relearning the knowledge of illegal model adaptation with custom data. In this paper, we present FreezeAsGuard, a new technique that addresses these limitations and enables irreversible mitigation of illegal adaptations of diffusion models. The basic approach is that the model publisher selectively freezes tensors in pre-trained diffusion models that are critical to illegal model adaptations, to mitigate the fine-tuned model's representation power in illegal domains but minimize the impact on legal model adaptations in other domains. Such tensor freezing can be enforced via APIs provided by the model publisher for fine-tuning, can motivate users' adoption due to its computational savings. Experiment results with datasets in multiple domains show that FreezeAsGuard provides stronger power in mitigating illegal model adaptations of generating fake public figures' portraits, while having the minimum impact on model adaptation in other legal domains. The source code is available at: https://github.com/pittisl/FreezeAsGuard/
• Abstract（参考訳）: テキストと画像の拡散モデルは、特定のユーザの好みに適応するためにカスタムドメインで微調整することができるが、そのような制約のない適応性は、公共の人物の肖像画の偽造や著作権のあるアートワークの複製など、違法な目的にも利用されてきた。 既存の研究の多くは、違法に生成されたコンテンツを検出することに重点を置いているが、拡散モデルの違法な適応を予防または緩和することはできない。 モデルアンラーニングと再初期化の他のスキームは、ユーザーがカスタムデータを使って違法なモデル適応の知識を再学習するのを防ぐことができない。 本稿では,これらの制限に対処し,拡散モデルの違法適応を不可逆的に緩和する新しい手法であるFreezeAsGuardを提案する。 基本的アプローチは、モデルパブリッシャが、違法なモデル適応に不可欠な事前訓練された拡散モデルのテンソルを選択的に凍結し、不正なドメインにおける微調整モデルの表現力を緩和するが、他のドメインにおける法的なモデル適応への影響を最小限に抑えることである。 このようなテンソル凍結は、微調整のためにモデルパブリッシャが提供するAPIを通じて実施することができ、計算コストの削減によってユーザの採用を動機付けることができる。 複数のドメインにおけるデータセットによる実験結果から、FreezeAsGuardは、偽の公開人物の肖像画を生成することによる違法なモデル適応を緩和する上で、他の法律領域におけるモデル適応に最小限の影響を与える。 ソースコードは、https://github.com/pittisl/FreezeAsGuard/で入手できる。

関連論文リスト

• CGI-DM: Digital Copyright Authentication for Diffusion Models via Contrasting Gradient Inversion [26.70115339710056]
  Contrasting Gradient Inversion for Diffusion Models (CGI-DM) はデジタル著作権認証のための鮮やかな視覚表現を特徴とする新しい手法である。 入力画像が同じである場合、2つのモデルの潜在変数間のKLばらつきを定式化する。 WikiArtとDreamboothデータセットの実験は、デジタル著作権認証におけるCGI-DMの精度を実証している。
  論文  参考訳（メタデータ） (2024-03-17T10:06:38Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback [97.0874638345205]
  生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。 提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。 拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-27T18:59:53Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• Training Diffusion Models with Reinforcement Learning [82.29328477109826]
  拡散モデルは、ログのような目的に近似して訓練される。 本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。 本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• AdaptGuard: Defending Against Universal Attacks for Model Adaptation [129.2012687550069]
  モデル適応アルゴリズムにおいて、ソースドメインから転送されるユニバーサルアタックに対する脆弱性について検討する。 本稿では,モデル適応アルゴリズムの安全性を向上させるために,AdaptGuardというモデル前処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-19T07:53:31Z)
• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• Non-Transferable Learning: A New Approach for Model Verification and Authorization [7.686781778077341]
  オーナシップの認証と使用許可という2つの一般的な保護方法がある。 学習モデルにおける排他的データ表現をキャプチャする新しい手法であるNon-Transferable Learning (NTL)を提案する。 我々のNTLベースの認証アプローチは、不正なデータに対する使用性能を著しく低下させることで、データ中心の使用保護を提供します。
  論文  参考訳（メタデータ） (2021-06-13T04:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。