論文の概要: Redistribute Ensemble Training for Mitigating Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.09434v1
• Date: Thu, 13 Feb 2025 15:56:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:48:15.384107
• Title: Redistribute Ensemble Training for Mitigating Memorization in Diffusion Models
• Title（参考訳）: 拡散モデルにおける記憶の緩和のための再帰的アンサンブルトレーニング
• Authors: Xiaoliu Guan, Yu Wu, Huayang Huang, Xiao Liu, Jiaxu Miao, Yi Yang,
• Abstract要約: 拡散モデルは非常に高品質なサンプルを生成する能力で知られている。 最近のメモリ緩和法は、主にテキストモダリティの文脈における問題に対処している。 本稿では,視覚的モダリティの観点からの拡散モデルの新たな手法を提案する。
• 参考スコア（独自算出の注目度）: 31.92526915009259
• License:
• Abstract: Diffusion models, known for their tremendous ability to generate high-quality samples, have recently raised concerns due to their data memorization behavior, which poses privacy risks. Recent methods for memory mitigation have primarily addressed the issue within the context of the text modality in cross-modal generation tasks, restricting their applicability to specific conditions. In this paper, we propose a novel method for diffusion models from the perspective of visual modality, which is more generic and fundamental for mitigating memorization. Directly exposing visual data to the model increases memorization risk, so we design a framework where models learn through proxy model parameters instead. Specially, the training dataset is divided into multiple shards, with each shard training a proxy model, then aggregated to form the final model. Additionally, practical analysis of training losses illustrates that the losses for easily memorable images tend to be obviously lower. Thus, we skip the samples with abnormally low loss values from the current mini-batch to avoid memorizing. However, balancing the need to skip memorization-prone samples while maintaining sufficient training data for high-quality image generation presents a key challenge. Thus, we propose IET-AGC+, which redistributes highly memorizable samples between shards, to mitigate these samples from over-skipping. Furthermore, we dynamically augment samples based on their loss values to further reduce memorization. Extensive experiments and analysis on four datasets show that our method successfully reduces memory capacity while maintaining performance. Moreover, we fine-tune the pre-trained diffusion models, e.g., Stable Diffusion, and decrease the memorization score by 46.7\%, demonstrating the effectiveness of our method. Code is available in: https://github.com/liuxiao-guan/IET_AGC.
• Abstract（参考訳）: 拡散モデルは、高品質なサンプルを生成する能力で知られており、最近、データ記憶の振る舞いがプライバシーのリスクを引き起こすという懸念を提起している。 近年のメモリ緩和手法は, クロスモーダル生成タスクにおけるテキストモダリティの文脈における問題に対処し, 特定の条件に対する適用性を制限している。 本稿では,視覚的モダリティの観点からの拡散モデルの新たな手法を提案する。 モデルに視覚データを直接公開することでメモリ化リスクが増大するので、モデルが代わりにプロキシモデルパラメータを通して学習するフレームワークを設計する。 特に、トレーニングデータセットは複数のシャードに分割され、各シャードはプロキシモデルをトレーニングし、最終モデルを形成するために集約される。 さらに、トレーニング損失の実践的な分析は、覚えやすい画像の損失が明らかに低い傾向にあることを示している。 そこで,本研究では,現在のミニバッチから異常に低い損失値のサンプルをスキップし,暗記を回避する。 しかし、高品質な画像生成のための十分なトレーニングデータを維持しながら、暗黙のサンプルをスキップする必要性のバランスが重要な課題である。 そこで我々は, これらの試料をオーバースキッピングから除去するために, 高記憶度試料をシャード間で再分別するIET-AGC+を提案する。 さらに,損失値に基づいて動的にサンプルを増強し,記憶の低減を図る。 4つのデータセットの大規模な実験と解析により,本手法は性能を維持しながらメモリ容量を削減できることが判明した。 さらに,事前学習した拡散モデル,例えば安定拡散を微調整し,記憶率を46.7%減らし,本手法の有効性を実証した。 コードは、https://github.com/liuxiao-guan/IET_AGCで入手できる。

関連論文リスト

• CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion [58.64822817224639]
  拡散モデルはトレーニングデータを正確に再現する傾向がある。 CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。 CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。
  論文  参考訳（メタデータ） (2024-09-11T05:42:01Z)
• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
  拡散モデルは、新規で高品質なサンプルを生成できることで知られている。 最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。 本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-22T02:19:30Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Reducing Training Sample Memorization in GANs by Training with Memorization Rejection [80.0916819303573]
  本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。 我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
  論文  参考訳（メタデータ） (2022-10-21T20:17:50Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。