論文の概要: Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted

• arxiv url: http://arxiv.org/abs/2406.18566v1
• Date: Sat, 1 Jun 2024 15:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 05:50:36.670210
• Title: Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted
• Title（参考訳）: 拡散モデルにおける記憶画像は、位置決めと削除が可能な部分空間を共有する
• Authors: Ruchika Chavhan, Ondrej Bohdal, Yongshuo Zong, Da Li, Timothy Hospedales,
• Abstract要約: 大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
• 参考スコア（独自算出の注目度）: 15.162296378581853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale text-to-image diffusion models excel in generating high-quality images from textual inputs, yet concerns arise as research indicates their tendency to memorize and replicate training data, raising We also addressed the issue of memorization in diffusion models, where models tend to replicate exact training samples raising copyright infringement and privacy issues. Efforts within the text-to-image community to address memorization explore causes such as data duplication, replicated captions, or trigger tokens, proposing per-prompt inference-time or training-time mitigation strategies. In this paper, we focus on the feed-forward layers and begin by contrasting neuron activations of a set of memorized and non-memorized prompts. Experiments reveal a surprising finding: many different sets of memorized prompts significantly activate a common subspace in the model, demonstrating, for the first time, that memorization in the diffusion models lies in a special subspace. Subsequently, we introduce a novel post-hoc method for editing pre-trained models, whereby memorization is mitigated through the straightforward pruning of weights in specialized subspaces, avoiding the need to disrupt the training or inference process as seen in prior research. Finally, we demonstrate the robustness of the pruned model against training data extraction attacks, thereby unveiling new avenues for a practical and one-for-all solution to memorization.
• Abstract（参考訳）: 大規模なテキスト・画像拡散モデルは,テキスト入力から高品質な画像を生成するのに優れているが,学習データを記憶・複製する傾向を示す研究が進み,また,拡散モデルにおける記憶の問題にも対処し,著作権侵害やプライバシー問題を引き起こす正確なトレーニングサンプルを再現する傾向にある。 データ重複、複製されたキャプション、トークンのトリガーなど、暗記に対処するためのテキスト・ツー・イメージのコミュニティ内の取り組みは、プロンプト毎の推論時間やトレーニング時間の緩和戦略を提案している。 本稿では,フィードフォワード層に着目し,記憶されたプロンプトと記憶されていない一連のプロンプトのニューロン活性化の対比から始める。 多くの異なる記憶されたプロンプトがモデル内の共通部分空間を著しく活性化し、初めて拡散モデルの記憶が特別な部分空間にあることを示す。 次に,事前学習したモデルを編集するための新しいポストホック手法を提案する。これは,特定の部分空間における重みの直接的な刈り取りによって記憶を緩和し,事前研究で見られるトレーニングや推論プロセスの中断を回避する。 最後に,訓練用データ抽出攻撃に対するプルーニングモデルのロバスト性を示す。

関連論文リスト

• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models [39.607005089747936]
  テキスト・画像拡散モデルにおける記憶の実際的解析を行う。 暗記に必要な3つの条件,それぞれ類似性,存在,および確率を同定する。 次に,モデルの予測誤差と画像複製の相関関係を明らかにする。
  論文  参考訳（メタデータ） (2024-05-09T15:32:00Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• Memory Triggers: Unveiling Memorization in Text-To-Image Generative Models through Word-Level Duplication [16.447035745151428]
  拡散ベースのモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。 これらのモデルはまた、正確なトレーニングサンプルを複製し、プライバシーリスクを装い、敵の攻撃を可能にする傾向があることを懸念している。 本稿では拡散モデルにおける推論中に複製を引き起こす2つの異なる重複と未探索の重複に焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-06T18:54:44Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。