論文の概要: Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning
- arxiv url: http://arxiv.org/abs/2610.01723v1
- Date: Thu, 01 Oct 2026 13:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.175693
- Title: Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning
- Title(参考訳): 拡散モデルにおけるメモ化緩和の再考:テキストコンディショニングの強化
- Abstract要約: 本稿では,ガウシアンスムースメントによるクロスアテンションを再分配する学習自由手法を提案する。
より強力なコンテントコンディショニングは、同等のトレーニングイメージの類似性において、迅速なアライメントを改善することができる。
これらの知見は, 条件付アロケーションと強度を協調的に制御し, 即時的な代替品を生成することを支援する。
- 参考スコア(独自算出の注目度): 10.935602641612888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image diffusion models have achieved remarkable progress in image synthesis, yet can exhibit memorization by closely reproducing individual training examples. Effective mitigation must preserve useful prompt information to guide alternative depictions. We introduce a training-free method that redistributes cross-attention with Gaussian smoothing before reinforcing content-token contributions and attenuating padding contributions, without additional denoiser evaluations. With this intervention, stronger content conditioning can improve prompt alignment at comparable training-image similarity. A local analysis identifies when reinforcement preserves shared value information while redistribution reduces localized attention mass. On Stable Diffusion v1.4 and v2.0, all evaluated smoothing widths lie on the empirical Pareto frontiers for training-image similarity versus both prompt alignment and image preference. A configuration selected on Stable Diffusion reduces template reproduction in DeepFloyd IF without further tuning. These findings support jointly controlling conditioning allocation and strength to generate prompt-consistent alternatives.
- Abstract(参考訳): テキストと画像の拡散モデルは画像合成において顕著な進歩を遂げてきたが、個々のトレーニング例を密に再現することで記憶を示すことができる。
効果的な緩和は、代替の描写を導くのに有用な情報を保持する必要がある。
本稿では,ガウスの平滑化による横断的意識の再分配を,コンテンツへの貢献の強化やパディングへの貢献の軽減に役立てる学習自由手法を提案する。
この介入により、より強力なコンテントコンディショニングは、同等のトレーニングイメージの類似性において、迅速なアライメントを改善することができる。
局所的な分析では、強化が共有値情報を保存し、再分配は局所的な注意質量を減少させる。
安定拡散v1.4とv2.0では、全ての評価されたスムーズな幅が実験的なパレートフロンティアに置かれ、即時アライメントと画像の嗜好の両方に対する訓練画像の類似性を示す。
安定拡散で選択された構成は、さらにチューニングすることなくDeepFloyd IFのテンプレート再生を減らす。
これらの知見は, 条件付アロケーションと強度を協調的に制御し, 即時的な代替品を生成することを支援する。
関連論文リスト
- Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection [53.789057575175065]
領域認識型prompt Augmentation(RAPTA)とAttention-Driven Multimodal Copy Detection(ADMCD)を示す。
RAPTAはオブジェクト検出器を使用して、正常な領域を見つけ、それらを意味論的に接地したプロンプトの変種に変換する。
ADMCDは、ローカルパッチ、グローバルセマンティック、テクスチャキューを軽量トランスフォーマーで集約し、融合表現を生成する。
実験により、RAPTAは高い合成品質を維持しながら過度な適合を減少させ、ADMCDはコピーを確実に検出し、単一モードの指標より優れることが示された。
論文 参考訳(メタデータ) (2026-03-13T15:16:27Z) - You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models [8.429432661292964]
生成モデルは、あるトレーニングデータを「記憶する」ことが示され、冗長またはほぼ垂直な生成画像に繋がる。
本稿では,テキスト・画像拡散モデルにおけるメモリ化緩和のための新しいフレームワークであるGuidance Using Attractive-Repulsive Dynamics (GUARD)を紹介する。
GUARDは、元のトレーニング画像から、トレーニングデータとは異なるものへ、生成を誘導するために、画像装飾プロセスを調整する。
論文 参考訳(メタデータ) (2026-02-23T17:20:40Z) - Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards [52.90573877727541]
拡散モデル微調整では強化学習(RL)が検討されている。
RLの有効性はスパース報酬の挑戦によって制限される。
$textB2text-DiffuRL$は既存の最適化アルゴリズムと互換性がある。
論文 参考訳(メタデータ) (2025-03-14T09:45:19Z) - Fast constrained sampling in pre-trained diffusion models [80.99262780028015]
任意の制約下で高速で高品質な生成を可能にするアルゴリズムを提案する。
我々の手法は、最先端のトレーニングフリー推論手法に匹敵するか、超越した結果をもたらす。
論文 参考訳(メタデータ) (2024-10-24T14:52:38Z) - Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention
Regulation in Diffusion Models [23.786473791344395]
拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。
本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。
実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2024-03-11T02:18:27Z) - Preserving Image Properties Through Initializations in Diffusion Models [6.804700416902898]
現在適用されている安定拡散法は,小売写真の要求を尊重しないことを示す。
非常にノイズの多い画像でデノイザーを訓練する通常の習慣は、推論中に一貫性のない画像を生成する。
均一な背景を持つ中央の小売商品画像で訓練されたネットワークは、不規則な背景を持つ画像を生成する。
本手法は,拡散法における制御可能性を高めるために,他の制御法と良好に相互作用することができる。
論文 参考訳(メタデータ) (2024-01-04T06:55:49Z) - MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。
本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。
この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文 参考訳(メタデータ) (2023-09-08T15:53:37Z) - Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style
Transfer [38.957512116073616]
我々は、追加の微調整や補助的なネットワークを必要としない拡散モデルに対して、ゼロショットのコントラスト損失を提案する。
本手法は,ゼロショット方式で,ソース画像と同一のセマンティックな内容の画像を生成できる。
論文 参考訳(メタデータ) (2023-03-15T13:47:02Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。