論文の概要: Adjusting Initial Noise to Mitigate Memorization in Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2510.08625v1
- Date: Wed, 08 Oct 2025 10:37:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:47.215558
- Title: Adjusting Initial Noise to Mitigate Memorization in Text-to-Image Diffusion Models
- Title(参考訳): テキスト・画像拡散モデルにおける初期雑音の緩和
- Authors: Hyeonggeun Han, Sehwan Kim, Hyungjun Joo, Sangwoo Hong, Jungwoo Lee,
- Abstract要約: 初期ノイズサンプルは,この脱走の発生時期を決定する上で重要な役割を担っている。
本稿では,初期騒音を個別に調整する2つの緩和策を提案する。
- 参考スコア(独自算出の注目度): 10.935602641612888
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite their impressive generative capabilities, text-to-image diffusion models often memorize and replicate training data, prompting serious concerns over privacy and copyright. Recent work has attributed this memorization to an attraction basin-a region where applying classifier-free guidance (CFG) steers the denoising trajectory toward memorized outputs-and has proposed deferring CFG application until the denoising trajectory escapes this basin. However, such delays often result in non-memorized images that are poorly aligned with the input prompts, highlighting the need to promote earlier escape so that CFG can be applied sooner in the denoising process. In this work, we show that the initial noise sample plays a crucial role in determining when this escape occurs. We empirically observe that different initial samples lead to varying escape times. Building on this insight, we propose two mitigation strategies that adjust the initial noise-either collectively or individually-to find and utilize initial samples that encourage earlier basin escape. These approaches significantly reduce memorization while preserving image-text alignment.
- Abstract(参考訳): その印象的な生成機能にもかかわらず、テキストから画像への拡散モデルは、しばしばトレーニングデータを記憶して複製し、プライバシーと著作権に対する深刻な懸念を引き起こす。
最近の研究は、この記憶をアトラクション盆地(アトラクション盆地)とみなし、分類器不要誘導(CFG)を適用して、記憶された出力に対する認知軌道を操縦し、この盆地を脱出するまでCFG適用を延期することを提案した。
しかし、このような遅延は、入力プロンプトに不整合な非記憶画像をもたらすことが多く、デノナイジングプロセスにおいてCFGをより早く適用できるように、早期のエスケープを促進する必要性を強調している。
本研究は, 初期ノイズサンプルが, 脱落時期を決定する上で重要な役割を担っていることを示す。
異なる初期サンプルが様々な脱走時間をもたらすことを実証的に観察する。
この知見に基づいて、初期騒音を一括的に調整する2つの緩和戦略を提案し、早期の盆地脱出を促進する初期サンプルを個別に発見・活用する。
これらのアプローチは、画像とテキストのアライメントを維持しながら、メモリ化を著しく削減する。
関連論文リスト
- You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models [8.429432661292964]
生成モデルは、あるトレーニングデータを「記憶する」ことが示され、冗長またはほぼ垂直な生成画像に繋がる。
本稿では,テキスト・画像拡散モデルにおけるメモリ化緩和のための新しいフレームワークであるGuidance Using Attractive-Repulsive Dynamics (GUARD)を紹介する。
GUARDは、元のトレーニング画像から、トレーニングデータとは異なるものへ、生成を誘導するために、画像装飾プロセスを調整する。
論文 参考訳(メタデータ) (2026-02-23T17:20:40Z) - Noise as a Probe: Membership Inference Attacks on Diffusion Models Leveraging Initial Noise [51.179816451161635]
拡散モデルは画像生成において顕著な進歩を遂げているが、そのデプロイの増加はプライバシに関する深刻な懸念を引き起こす。
広範に使われているノイズスケジュールは、画像のセマンティック情報を完全に排除することができない。
本稿では,初期雑音に意味情報を注入し,モデル生成結果を解析してメンバーシップを推定する,シンプルで効果的なメンバーシップ推論攻撃を提案する。
論文 参考訳(メタデータ) (2026-01-29T12:29:01Z) - Memorization Control in Diffusion Models from Denoising-centric Perspective [0.6741942263052466]
拡散モデルにおける記憶の制御は、トレーニング分布によく適合するために生成されたデータを必要とするアプリケーションにとって重要である。
その結果,信号と雑音の比の差により,一様時間ステップサンプリングが学習に不等な寄与をもたらすことが明らかとなった。
本稿では,学習経路に沿って学習が行われる場所を明示的に制御する時間ステップサンプリング戦略を提案する。
論文 参考訳(メタデータ) (2026-01-29T07:16:54Z) - CAPTAIN: Semantic Feature Injection for Memorization Mitigation in Text-to-Image Diffusion Models [60.610268549138375]
拡散モデルは意図せずトレーニング例を再現し、プライバシーと著作権の懸念を高めることができる。
CAPTAINはトレーニング不要のフレームワークで,聴覚障害時に潜伏した特徴を直接修正することで記憶を緩和する。
論文 参考訳(メタデータ) (2025-12-11T14:01:47Z) - Noise Projection: Closing the Prompt-Agnostic Gap Behind Text-to-Image Misalignment in Diffusion Models [9.683618735282414]
テキスト・ツー・イメージ生成において、異なる初期ノイズは、事前訓練された安定拡散(SD)モデルで異なる雑音を誘導する。
このパターンは多様な画像を出力できるが、いくつかのパターンはプロンプトとうまく一致しないかもしれない。
そこで本研究では,初期雑音に対してテキスト条件の修正を施したノイズプロジェクタを提案する。
論文 参考訳(メタデータ) (2025-10-16T10:14:34Z) - How Diffusion Models Memorize [26.711679643772623]
拡散モデルはトレーニングデータを記憶し 深刻なプライバシーと著作権の懸念を 引き起こすことができます
初診時のトレーニングサンプルの過大評価により,暗記が促進されることが示唆された。
論文 参考訳(メタデータ) (2025-09-30T03:03:27Z) - Exploiting the Exact Denoising Posterior Score in Training-Free Guidance of Diffusion Models [0.0]
Diffusion Posterior Smpling (DPS) に基づく一般的な手法のクラスは、難解な後楽譜関数を直接近似しようとする。
非条件のスコア関数で抽出可能なタスクを純粋に分解するための、正確な後部スコアに対する新しい表現を提案する。
これらのステップサイズは、色付け、ランダムな塗布、超解像などの関連する逆問題に転送可能であることを実証する。
論文 参考訳(メタデータ) (2025-06-16T15:43:28Z) - Active Adversarial Noise Suppression for Image Forgery Localization [56.98050814363447]
本稿では、敵騒音の攻撃効果を抑制するために、防御的摂動を発生させる敵騒音抑制モジュール(ANSM)を提案する。
我々の知る限りでは、画像フォージェリローカライゼーションタスクにおける敵対的防御の報告としてはこれが初めてである。
論文 参考訳(メタデータ) (2025-06-15T14:53:27Z) - Be Decisive: Noise-Induced Layouts for Multi-Subject Generation [56.80513553424086]
複雑なプロンプトは被写体漏れを引き起こし、量、属性、視覚的特徴の不正確さを引き起こす。
本稿では,初期雑音から導出されるプロンプトに整合した空間配置を予測し,デノナイジング過程を通じて改良する手法を提案する。
提案手法では,各聴覚ステップにおける雑音誘発レイアウトを予測・改善するために,小さなニューラルネットワークを用いる。
論文 参考訳(メタデータ) (2025-05-27T17:54:24Z) - Rethinking and Defending Protective Perturbation in Personalized Diffusion Models [21.30373461975769]
パーソナライズされた拡散モデル(PDM)の微調整過程について,ショートカット学習のレンズを用いて検討した。
PDMは小さな逆境の摂動に影響を受けやすいため、破損したデータセットを微調整すると著しく劣化する。
本稿では,データ浄化と対照的なデカップリング学習を含むシステム防衛フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-27T07:14:14Z) - InitNO: Boosting Text-to-Image Diffusion Models via Initial Noise Optimization [27.508861002013358]
InitNOは、意味的に忠実な画像の初期ノイズを洗練させるパラダイムである。
戦略的に構築されたノイズ最適化パイプラインは、初期ノイズを有効領域へ導くために開発された。
厳密な実験によって検証された本手法は,テキストのプロンプトに厳密な一致で画像を生成する能力を示す。
論文 参考訳(メタデータ) (2024-04-06T14:56:59Z) - Representing Noisy Image Without Denoising [91.73819173191076]
ラドン空間におけるフラクショナルオーダーモーメント(FMR)は、ノイズの多い画像から直接ロバストな表現を引き出すように設計されている。
従来の整数順序法とは異なり、我々の研究は特別な場合のような古典的手法を取り入れたより汎用的な設計である。
論文 参考訳(メタデータ) (2023-01-18T10:13:29Z) - Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。
私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
論文 参考訳(メタデータ) (2020-08-06T02:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。