論文の概要: MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.17095v1
• Date: Wed, 24 Jul 2024 08:46:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:23:43.961216
• Title: MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models
• Title（参考訳）: MemBench: 拡散モデルのためのメモリ化されたイメージトリガープロンプトデータセット
• Authors: Chunsan Hong, Tae-Hyun Oh, Minhyuk Sung,
• Abstract要約: 本稿では,画像記憶の緩和手法を評価するための最初のベンチマークであるMemBenchを紹介する。 本稿では,トリガープロンプトと一般プロンプトの両方で評価された指標について述べる。
• 参考スコア（独自算出の注目度）: 28.64962324938148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in Text-to-Image generation tasks, leading to the development of many commercial models. However, recent studies have reported that diffusion models often generate replicated images in train data when triggered by specific prompts, potentially raising social issues ranging from copyright to privacy concerns. To sidestep the memorization, there have been recent studies for developing memorization mitigation methods for diffusion models. Nevertheless, the lack of benchmarks impedes the assessment of the true effectiveness of these methods. In this work, we present MemBench, the first benchmark for evaluating image memorization mitigation methods. Our benchmark includes a large number of memorized image trigger prompts in Stable Diffusion, the most popularly used model nowadays. Furthermore, in contrast to the prior work evaluating mitigation performance only on trigger prompts, we present metrics evaluating on both trigger prompts and general prompts, so that we can see whether mitigation methods address the memorization issue while maintaining performance for general prompts. This is an important development considering the practical applications which previous works have overlooked. Through evaluation on MemBench, we verify that the performance of existing image memorization mitigation methods is still insufficient for application to diffusion models.
• Abstract（参考訳）: 拡散モデルはテキスト・画像生成タスクにおいて顕著な成功を収め、多くの商用モデルの開発に繋がった。 しかし、近年の研究では、拡散モデルは特定のプロンプトによってトリガーされた列車データに複製された画像をしばしば生成し、著作権からプライバシーへの懸念まで社会問題を引き起こす可能性があると報告されている。 記憶化を助長するために,拡散モデルのための記憶化緩和法の開発が近年行われている。 それでも、ベンチマークの欠如は、これらの手法の真の有効性の評価を妨げている。 本稿では,画像記憶の緩和手法を評価するための最初のベンチマークであるMemBenchを紹介する。 我々のベンチマークには、近年最も広く使われているモデルであるStable Diffusionに、多数の記憶された画像トリガープロンプトが含まれている。 さらに, トリガープロンプトと一般プロンプトの両方で評価された指標を, トリガープロンプトと一般プロンプトの双方で評価し, 一般プロンプトの性能を維持しつつ, メモリ化問題に対処できるかどうかを検証した。 これは、それまでの作業が見落としていた実践的応用を考えると、重要な展開である。 MemBenchの評価を通じて、既存の画像記憶緩和法の性能がまだ拡散モデルに適用するには不十分であることを検証した。

関連論文リスト

• Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
  本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。 筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
  論文  参考訳（メタデータ） (2024-10-15T03:54:59Z)
• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models [39.607005089747936]
  テキスト・画像拡散モデルにおける記憶の実際的解析を行う。 暗記に必要な3つの条件,それぞれ類似性,存在,および確率を同定する。 次に,モデルの予測誤差と画像複製の相関関係を明らかにする。
  論文  参考訳（メタデータ） (2024-05-09T15:32:00Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• What do larger image classifiers memorise? [64.01325988398838]
  トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
  論文  参考訳（メタデータ） (2023-10-09T01:52:07Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。