論文の概要: Classifier-Free Guidance inside the Attraction Basin May Cause Memorization

• arxiv url: http://arxiv.org/abs/2411.16738v1
• Date: Sat, 23 Nov 2024 15:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:17.239427
• Title: Classifier-Free Guidance inside the Attraction Basin May Cause Memorization
• Title（参考訳）: トラクション盆地内における分類器フリーガイダンスは記憶を損なう可能性がある
• Authors: Anubhav Jain, Yuya Kobayashi, Takashi Shibuya, Yuhta Takida, Nasir Memon, Julian Togelius, Yuki Mitsufuji,
• Abstract要約: 拡散モデルは、トレーニングデータから画像を正確に再現する傾向がある。 記憶された画像は、画質が高く、条件付け機構によく適合している。
• 参考スコア（独自算出の注目度）: 16.752023123940674
• License:
• Abstract: Diffusion models are prone to exactly reproduce images from the training data. This exact reproduction of the training data is concerning as it can lead to copyright infringement and/or leakage of privacy-sensitive information. In this paper, we present a novel way to understand the memorization phenomenon, and propose a simple yet effective approach to mitigate it. We argue that memorization occurs because of an attraction basin in the denoising process which steers the diffusion trajectory towards a memorized image. However, this can be mitigated by guiding the diffusion trajectory away from the attraction basin by not applying classifier-free guidance until an ideal transition point occurs from which classifier-free guidance is applied. This leads to the generation of non-memorized images that are high in image quality and well-aligned with the conditioning mechanism. To further improve on this, we present a new guidance technique, \emph{opposite guidance}, that escapes the attraction basin sooner in the denoising process. We demonstrate the existence of attraction basins in various scenarios in which memorization occurs, and we show that our proposed approach successfully mitigates memorization.
• Abstract（参考訳）: 拡散モデルは、トレーニングデータから画像を正確に再現する傾向がある。 このトレーニングデータの正確な再現は、著作権侵害やプライバシーに敏感な情報の漏洩につながる可能性があるためである。 本稿では,記憶現象を理解するための新しい手法を提案し,それを緩和するためのシンプルで効果的なアプローチを提案する。 記憶された画像に対して拡散軌跡を操縦するデノナイジング過程において,アトラクション盆地が起因して記憶が生じると論じる。 しかし、このことは、アトラクション盆地から拡散軌跡を誘導し、分類器フリー誘導を施す理想的な遷移点が生じるまで、分類器フリー誘導を施さないことで緩和することができる。 これにより、画質が高く、条件付け機構に整合した非記憶画像が生成される。 そこで本研究では,より早期にアトラクション盆地を脱出する新しいガイダンス手法である「emph{opposite guidance}」を提案する。 本研究は,暗記が生じる様々なシナリオにおいて,アトラクション盆地の存在を実証し,提案手法が暗記の軽減に成功していることを示す。

関連論文リスト

• Classifier Guidance Enhances Diffusion-based Adversarial Purification by Preserving Predictive Information [75.36597470578724]
  敵の浄化は、敵の攻撃からニューラルネットワークを守るための有望なアプローチの1つである。 分類器決定境界から遠ざかって, 清浄するgUided Purification (COUP)アルゴリズムを提案する。 実験結果から, COUPは強力な攻撃法でより優れた対向的堅牢性が得られることが示された。
  論文  参考訳（メタデータ） (2024-08-12T02:48:00Z)
• Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
  拡散モデルは、新規で高品質なサンプルを生成できることで知られている。 最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。 本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-22T02:19:30Z)
• Rethinking and Defending Protective Perturbation in Personalized Diffusion Models [21.30373461975769]
  パーソナライズされた拡散モデル(PDM)の微調整過程について,ショートカット学習のレンズを用いて検討した。 PDMは小さな逆境の摂動に影響を受けやすいため、破損したデータセットを微調整すると著しく劣化する。 本稿では,データ浄化と対照的なデカップリング学習を含むシステム防衛フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-27T07:14:14Z)
• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Learning to See Through Obstructions with Layered Decomposition [117.77024641706451]
  移動画像から不要な障害を取り除くための学習に基づくアプローチを提案する。 本手法は背景要素と閉塞要素の運動差を利用して両方の層を復元する。 本研究では,合成データから得られた提案手法が実画像に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-08-11T17:59:31Z)
• Learning to See Through Obstructions [117.77024641706451]
  本稿では,移動カメラで撮影した短い画像列から不要な障害物を除去するための学習に基づくアプローチを提案する。 本手法は背景要素と障害物要素の運動差を利用して両方の層を復元する。 合成データ転送のトレーニングは実画像に対して良好であることを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。