論文の概要: WOUAF: Weight Modulation for User Attribution and Fingerprinting in
Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2306.04744v2
- Date: Mon, 18 Dec 2023 07:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 00:29:13.039689
- Title: WOUAF: Weight Modulation for User Attribution and Fingerprinting in
Text-to-Image Diffusion Models
- Title(参考訳): WOUAF:テキスト・画像拡散モデルにおけるユーザ属性とフィンガープリントの軽量化
- Authors: Changhoon Kim, Kyle Min, Maitreya Patel, Sheng Cheng, Yezhou Yang
- Abstract要約: 本稿では,生成画像に責任を負うモデルフィンガープリントの新たなアプローチを提案する。
提案手法は,ユーザ固有のデジタル指紋に基づいて生成モデルを修正し,ユーザへ遡ることができるコンテンツにユニークな識別子を印字する。
- 参考スコア(独自算出の注目度): 34.64349387422059
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of generative models, facilitating the creation of
hyper-realistic images from textual descriptions, has concurrently escalated
critical societal concerns such as misinformation. Although providing some
mitigation, traditional fingerprinting mechanisms fall short in attributing
responsibility for the malicious use of synthetic images. This paper introduces
a novel approach to model fingerprinting that assigns responsibility for the
generated images, thereby serving as a potential countermeasure to model
misuse. Our method modifies generative models based on each user's unique
digital fingerprint, imprinting a unique identifier onto the resultant content
that can be traced back to the user. This approach, incorporating fine-tuning
into Text-to-Image (T2I) tasks using the Stable Diffusion Model, demonstrates
near-perfect attribution accuracy with a minimal impact on output quality.
Through extensive evaluation, we show that our method outperforms baseline
methods with an average improvement of 11\% in handling image post-processes.
Our method presents a promising and novel avenue for accountable model
distribution and responsible use.
- Abstract(参考訳): 生成モデルの急速な進歩は、テキスト記述から超現実的画像の作成を容易にし、誤情報などの社会的懸念を同時にエスカレートさせた。
いくつかの緩和策を提供しているが、従来の指紋認証機構は、合成画像の悪意ある使用に対する責任を負うために不足している。
本稿では,生成した画像に対して責任を負うフィンガープリントのモデル化手法を提案する。
提案手法は,各ユーザのユニークなデジタル指紋に基づいて生成モデルを修正し,ユーザに追跡可能な結果コンテンツにユニークな識別子をインプリントする。
安定拡散モデルを用いたt2iタスクに微調整を組み込んだこのアプローチは、出力品質への影響を最小限に抑えながら、ほぼ完全な帰属精度を示す。
本手法は, 画像後処理処理の処理において, 平均で11\%の精度でベースラインメソッドよりも優れることを示す。
提案手法は,説明可能なモデル分布と責任ある利用のための有望で新しい道を示す。
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Regeneration Based Training-free Attribution of Fake Images Generated by
Text-to-Image Generative Models [39.33821502730661]
そこで本研究では,テキスト・ツー・イメージ・モデルによって生成された偽画像をソース・モデルに属性付けするためのトレーニング不要な手法を提案する。
テスト画像と候補画像の類似性を計算し、ランキングすることにより、画像のソースを決定することができる。
論文 参考訳(メタデータ) (2024-03-03T11:55:49Z) - Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [70.58988592832684]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T06:07:07Z) - Fair Text-to-Image Diffusion via Fair Mapping [32.02815667307623]
本稿では,事前学習したテキスト・画像拡散モデルを修正する,フレキシブルでモデルに依存しない,軽量なアプローチを提案する。
暗黙的言語バイアスの問題を効果的に解決することにより、より公平で多様な画像出力を生成する。
論文 参考訳(メタデータ) (2023-11-29T15:02:01Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - On quantifying and improving realism of images generated with diffusion [50.37578424163951]
与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。
IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。
我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。
このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
論文 参考訳(メタデータ) (2023-09-26T08:32:55Z) - Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion
Models [63.20512617502273]
テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。
本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
論文 参考訳(メタデータ) (2023-07-12T07:48:29Z) - Attributing Image Generative Models using Latent Fingerprints [33.037718660732544]
生成モデルにより、自然から取られたものと区別できないコンテンツの作成が可能になった。
リスク軽減戦略の1つは、指紋認証による生成モデルの属性付けである。
本稿では,指紋としての潜在意味論の活用について検討する。
論文 参考訳(メタデータ) (2023-04-17T00:13:10Z) - Learning Robust Representations Of Generative Models Using Set-Based
Artificial Fingerprints [14.191129493685212]
既存の手法はサンプル分布を通してモデル間の距離を近似する。
我々は、生成モデルの表現として、ユニークな痕跡(いわゆる「人工指紋」)を考える。
セットエンコーディングとコントラスト学習に基づく新しい学習手法を提案する。
論文 参考訳(メタデータ) (2022-06-04T23:20:07Z) - Transferable Class-Modelling for Decentralized Source Attribution of
GAN-Generated Images [4.1483423188102755]
我々は、一連の関連するバイナリ分類タスクとして、ディープフェイク検出とソース属性の問題を再定義する。
我々は、転送学習を活用して、複数の独立属性問題に対する偽検出ネットワークを迅速に適用する。
私たちのモデルは、現在のベンチマークと競合するように実験によって決定されます。
論文 参考訳(メタデータ) (2022-03-18T07:43:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。