論文の概要: MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models
- arxiv url: http://arxiv.org/abs/2407.17095v1
- Date: Wed, 24 Jul 2024 08:46:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 14:23:43.961216
- Title: MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models
- Title（参考訳）: MemBench: 拡散モデルのためのメモリ化されたイメージトリガープロンプトデータセット
- Authors: Chunsan Hong, Tae-Hyun Oh, Minhyuk Sung,
- Abstract要約: 本稿では,画像記憶の緩和手法を評価するための最初のベンチマークであるMemBenchを紹介する。
本稿では,トリガープロンプトと一般プロンプトの両方で評価された指標について述べる。
- 参考スコア（独自算出の注目度）: 28.64962324938148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved remarkable success in Text-to-Image generation tasks, leading to the development of many commercial models. However, recent studies have reported that diffusion models often generate replicated images in train data when triggered by specific prompts, potentially raising social issues ranging from copyright to privacy concerns. To sidestep the memorization, there have been recent studies for developing memorization mitigation methods for diffusion models. Nevertheless, the lack of benchmarks impedes the assessment of the true effectiveness of these methods. In this work, we present MemBench, the first benchmark for evaluating image memorization mitigation methods. Our benchmark includes a large number of memorized image trigger prompts in Stable Diffusion, the most popularly used model nowadays. Furthermore, in contrast to the prior work evaluating mitigation performance only on trigger prompts, we present metrics evaluating on both trigger prompts and general prompts, so that we can see whether mitigation methods address the memorization issue while maintaining performance for general prompts. This is an important development considering the practical applications which previous works have overlooked. Through evaluation on MemBench, we verify that the performance of existing image memorization mitigation methods is still insufficient for application to diffusion models.
- Abstract（参考訳）: 拡散モデルはテキスト・画像生成タスクにおいて顕著な成功を収め、多くの商用モデルの開発に繋がった。
しかし、近年の研究では、拡散モデルは特定のプロンプトによってトリガーされた列車データに複製された画像をしばしば生成し、著作権からプライバシーへの懸念まで社会問題を引き起こす可能性があると報告されている。
記憶化を助長するために,拡散モデルのための記憶化緩和法の開発が近年行われている。
それでも、ベンチマークの欠如は、これらの手法の真の有効性の評価を妨げている。
本稿では,画像記憶の緩和手法を評価するための最初のベンチマークであるMemBenchを紹介する。
我々のベンチマークには、近年最も広く使われているモデルであるStable Diffusionに、多数の記憶された画像トリガープロンプトが含まれている。
さらに, トリガープロンプトと一般プロンプトの両方で評価された指標を, トリガープロンプトと一般プロンプトの双方で評価し, 一般プロンプトの性能を維持しつつ, メモリ化問題に対処できるかどうかを検証した。
これは、それまでの作業が見落としていた実践的応用を考えると、重要な展開である。
MemBenchの評価を通じて、既存の画像記憶緩和法の性能がまだ拡散モデルに適用するには不十分であることを検証した。
関連論文リスト
- Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
拡散モデルは、新規で高品質なサンプルを生成できることで知られている。
最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。
本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-22T02:19:30Z) - Investigating and Defending Shortcut Learning in Personalized Diffusion Models [16.569765598914152]
ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。
この微調整時のミスアライメントは、モデルがノイズパターンと識別子を関連付ける原因となり、性能が低下する。
提案手法は,まず画像に固有の意味的意味を潜時空間で認識する。
論文 参考訳（メタデータ） (2024-06-27T07:14:14Z) - Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。
研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。
データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
論文 参考訳（メタデータ） (2024-06-01T15:47:13Z) - Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models [39.607005089747936]
テキスト・画像拡散モデルにおける記憶の実際的解析を行う。
暗記に必要な3つの条件,それぞれ類似性,存在,および確率を同定する。
次に,モデルの予測誤差と画像複製の相関関係を明らかにする。
論文 参考訳（メタデータ） (2024-05-09T15:32:00Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳（メタデータ） (2024-03-21T17:52:08Z) - Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。
暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。
拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
論文 参考訳（メタデータ） (2024-03-17T01:27:00Z) - Model Will Tell: Training Membership Inference for Diffusion Models [15.16244745642374]
トレーニングメンバーシップ推論(TMI)タスクは、ターゲットモデルのトレーニングプロセスで特定のサンプルが使用されているかどうかを判断することを目的としている。
本稿では,拡散モデル内における本質的な生成先行情報を活用することで,TMIタスクの新たな視点を探求する。
論文 参考訳（メタデータ） (2024-03-13T12:52:37Z) - Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳（メタデータ） (2024-03-11T08:45:31Z) - What do larger image classifiers memorise? [64.01325988398838]
トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。
有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
論文 参考訳（メタデータ） (2023-10-09T01:52:07Z) - Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
論文 参考訳（メタデータ） (2023-05-31T17:58:02Z) - Always Be Dreaming: A New Approach for Data-Free Class-Incremental
Learning [73.24988226158497]
データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。
そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。
本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
論文 参考訳（メタデータ） (2021-06-17T17:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。