論文の概要: IMMA: Immunizing text-to-image Models against Malicious Adaptation
- arxiv url: http://arxiv.org/abs/2311.18815v2
- Date: Tue, 16 Jan 2024 15:23:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 20:02:52.226033
- Title: IMMA: Immunizing text-to-image Models against Malicious Adaptation
- Title(参考訳): IMMA: 悪意適応に対するテキスト・ツー・イメージの免疫
- Authors: Amber Yijia Zheng and Raymond A. Yeh
- Abstract要約: 我々は、悪意ある適応に対する保護のための代替パラダイムを考える。
本稿では,悪意のあるコンテンツを微調整する際の適応法に難渋するモデルパラメータを学習することにより,モデルの「免疫」を提案する。
実験の結果, 悪意のある適応に対するIMMAの有効性は, LoRA, Textual-Inversion, DreamBoothの3つの適応法で示されている。
- 参考スコア(独自算出の注目度): 14.072558848402362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advancements in text-to-image models and fine-tuning methods have led to the
increasing risk of malicious adaptation, i.e., fine-tuning to generate harmful
unauthorized content. Recent works, e.g., Glaze or MIST, have developed
data-poisoning techniques which protect the data against adaptation methods. In
this work, we consider an alternative paradigm for protection. We propose to
``immunize'' the model by learning model parameters that are difficult for the
adaptation methods when fine-tuning malicious content; in short IMMA. Empirical
results show IMMA's effectiveness against malicious adaptations, including
mimicking the artistic style and learning of inappropriate/unauthorized
content, over three adaptation methods: LoRA, Textual-Inversion, and
DreamBooth.
- Abstract(参考訳): テキストから画像へのモデルの進歩と微調整手法は、有害な不正なコンテンツを生成するための微調整といった悪意ある適応のリスクを増大させている。
最近の研究、例えばGlazeやMISTは、データを適応的手法から保護するデータポゾン技術を開発した。
本研究では,保護のための代替パラダイムを検討する。
本稿では,悪意のあるコンテンツを微調整する際の適応法が難しいモデルパラメータを学習し,モデル「免疫」を提案する。
実験の結果, IMMAは, 芸術的スタイルの模倣や不適切・無許可なコンテンツの学習を含む悪意ある適応に対する効果をLoRA, Textual-Inversion, DreamBoothの3つの適応手法で示した。
関連論文リスト
- Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。
本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
論文 参考訳(メタデータ) (2024-04-21T16:35:16Z) - The Stronger the Diffusion Model, the Easier the Backdoor: Data
Poisoning to Induce Copyright Breaches Without Adjusting Finetuning Pipeline [33.051071182668174]
本研究では, DMの著作権保護に関連する脆弱性について, バックドアデータ中毒攻撃の導入による検討を行った。
本手法は,拡散モデルのトレーニングや微調整プロセスへのアクセスや制御を必要とせずに動作する。
論文 参考訳(メタデータ) (2024-01-07T08:37:29Z) - To Generate or Not? Safety-Driven Unlearned Diffusion Models Are Still Easy To Generate Unsafe Images ... For Now [22.75295925610285]
本研究は,5種類の安全駆動型未学習DM(望ましくない概念,スタイル,対象を学習した後のDM)の頑健性を評価する。
本研究は,UnlearnDiffAtkの有効性と有効性を示すものである。
論文 参考訳(メタデータ) (2023-10-18T10:36:34Z) - Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion
Models [63.20512617502273]
テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。
本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
論文 参考訳(メタデータ) (2023-07-12T07:48:29Z) - AdaptGuard: Defending Against Universal Attacks for Model Adaptation [129.2012687550069]
モデル適応アルゴリズムにおいて、ソースドメインから転送されるユニバーサルアタックに対する脆弱性について検討する。
本稿では,モデル適応アルゴリズムの安全性を向上させるために,AdaptGuardというモデル前処理フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-19T07:53:31Z) - Raising the Cost of Malicious AI-Powered Image Editing [82.71990330465115]
本研究では,大規模な拡散モデルによる悪意ある画像編集のリスクを軽減するためのアプローチを提案する。
鍵となるアイデアは、イメージを免疫して、これらのモデルによる操作に抵抗するようにすることだ。
論文 参考訳(メタデータ) (2023-02-13T18:38:42Z) - Online Adaptive Personalization for Face Anti-spoofing [46.38621143682447]
OAP(Online Adaptive Personalization、オンライン適応パーソナライゼーション)は、ラベルのないデータを使ってモデルをオンラインで適応できる軽量なソリューションである。
OAPは,シングルビデオ設定と連続設定の両方において,既存の手法の認識性能を向上することを示す。
論文 参考訳(メタデータ) (2022-07-04T04:22:59Z) - Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。
そこで我々は,拡散モデルを用いたDiffPureを提案する。
提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文 参考訳(メタデータ) (2022-05-16T06:03:00Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳(メタデータ) (2021-12-10T07:24:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。