論文の概要: Early Signatures of Memorization in Diffusion Models via Basin Geometry and Cyclic Denoising

• arxiv url: http://arxiv.org/abs/2610.11670v1
• Date: Thu, 08 Oct 2026 10:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.962801
• Title: Early Signatures of Memorization in Diffusion Models via Basin Geometry and Cyclic Denoising
• Title（参考訳）: 流域形状とサイクルデノイングによる拡散モデルにおける暗記の早期兆候
• Abstract要約: 拡散モデルは訓練の早い段階で一般化され、後で個別のトレーニングサンプルを再現する。 我々は, 学習エネルギー景観の幾何学的に暗記が符号化されていることを, 生成したサンプルに現れる前に示す。
• 参考スコア（独自算出の注目度）: 17.21461669477355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models generalize early in training and later reproduce individual training samples. Standard tests detect memorization only once one-shot generation produces near-copies, leaving a released model unaudited until its outputs fail. We show that memorization is encoded in the geometry of the learned energy landscape before it appears in generated samples, a state we call latent memorization. Using score divergence and basin volume, we find that localized basins form around training samples and separate them from held-out samples before the first memorized sample appears, with an onset that follows the same $O(n)$ scaling as the memorization time. We probe these basins with cyclic denoising, which repeatedly applies partial noising and denoising. Under the exact empirical score, we prove that cycling started near an isolated training sample recovers it and returns to it over any finite number of cycles with high probability. In trained models, cycling recovers training images from CelebA and CIFAR-10 checkpoints whose one-shot samples contain no copies, and at a CelebA checkpoint with 0.1% one-shot copies, 500 cycles raise the memorized fraction above 30%. Cycling also reveals degenerate attractors that match no single training image and fade as training proceeds, so residence in a basin does not by itself imply memorization. These findings hold on a Gaussian mixture, CelebA, and CIFAR-10 across optimizers, architectures, noise schedules, and training-set sizes, and extend to off-the-shelf Stable Diffusion v1.4, where the cycled conditional-unconditional divergence gap separates memorized from non-memorized prompts with an AUC of 0.944 and a TPR of 0.866 at 1% FPR. More broadly, what a diffusion model has memorized is a property of the geometry and stability of its learned distribution, and assessing it requires examining this structure rather than generated outputs alone.
• Abstract（参考訳）: 拡散モデルは訓練の早い段階で一般化され、後で個別のトレーニングサンプルを再現する。 標準テストでは、ワンショット生成がニアコピーを生成するとのみ記憶が検出され、その出力が失敗するまでリリースされたモデルが無視される。 我々は,学習エネルギー景観の幾何学的に暗記がコード化されていることを示す。 スコアのばらつきと流域の体積を用いて、トレーニングサンプルを中心に局所的な盆地を形成し、最初の記憶標本が現れる前に保留サンプルから分離し、記憶時間と同じO(n)$スケールのオンセットで記録する。 本研究は,これらの流域を周期的遮音法で探索し,部分的遮音・遮音を繰り返し適用した。 厳密な経験的スコアの下では、孤立したトレーニングサンプルの近傍でサイクリングが始まり、高い確率で有限個のサイクルでそれを回復し、それに戻ることを証明している。 トレーニングされたモデルでは、CelebAとCIFAR-10の1ショットサンプルがコピーを含まないチェックポイントからのトレーニングイメージをサイクリングし、0.1%の1ショットコピーを持つCelebAチェックポイントでは500サイクルが記憶された分率を30%以上上昇させる。 サイクリングはまた、トレーニングが進むにつれて、単一のトレーニングイメージと一致せず、フェードと一致しない縮退する引き金も明らかにしている。 これらの結果は、最適化器、建築、騒音スケジュール、トレーニングセットサイズにわたるガウス混合系、CelebA、CIFAR-10、およびオフザシェルフ安定拡散 v1.4 に拡張され、サイクル条件と非条件分岐ギャップは、AUC 0.944 と TPR 0.866 で記憶された非記憶的プロンプトから1% FPRで記憶される。 より広義に、拡散モデルが記憶したものは、その学習された分布の幾何学的および安定性の性質であり、それを評価するには、生成された出力のみではなく、この構造を調べる必要がある。

関連論文リスト

• Combating Noisy Labels through Fostering Self- and Neighbor-Consistency [120.4394402099635]
  ラベルノイズは様々な現実世界のシナリオで広まり、教師付きディープラーニングの課題を提起する。 我々は、Jo-SNC(textbfSelf- と textbfNeighbor-textbfConsistency に基づくサンプル選択とモデル正規化)というノイズロバスト手法を提案する。 我々は、クラスごとの選択閾値を調整するための自己適応型データ駆動しきい値設定方式を設計する。
  論文  参考訳（メタデータ） (2026-01-19T07:55:29Z)
• A Closer Look on Memorization in Tabular Diffusion Model: A Data-Centric Perspective [15.33961902853653]
  生成したサンプルがレプリカとしてフラグ付けされている回数に基づいて,実サンプル毎のメモリ化を定量化する。 経験的分析により,暗記回数の重み付き分布が明らかとなった。 モデルに依存しない2段階緩和法であるDynamicCutを提案する。
  論文  参考訳（メタデータ） (2025-05-28T13:06:00Z)
• Redistribute Ensemble Training for Mitigating Memorization in Diffusion Models [31.92526915009259]
  拡散モデルは非常に高品質なサンプルを生成する能力で知られている。 最近のメモリ緩和法は、主にテキストモダリティの文脈における問題に対処している。 本稿では,視覚的モダリティの観点からの拡散モデルの新たな手法を提案する。
  論文  参考訳（メタデータ） (2025-02-13T15:56:44Z)
• CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion [58.64822817224639]
  拡散モデルはトレーニングデータを正確に再現する傾向がある。 CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。 CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。
  論文  参考訳（メタデータ） (2024-09-11T05:42:01Z)
• Memorization Through the Lens of Curvature of Loss Function Around Samples [10.028765645749338]
  そこで本研究では,各トレーニング試料の曲率を,トレーニングエポックよりも平均的に算出し,サンプルの記憶の指標として用いることを提案する。 まず、高い曲率のサンプルは、長い尾、ラベルのずれ、あるいは矛盾するサンプルと視覚的に対応していることを示します。 この分析は、私たちの知る限り、CIFAR100とImageNetデータセットの新たな障害モードを見つけるのに役立ちます。
  論文  参考訳（メタデータ） (2023-07-11T22:53:09Z)
• Protein Discovery with Discrete Walk-Jump Sampling [41.01079393600248]
  我々はスムーズなエネルギー関数を学び、ランゲヴィン・マルコフ連鎖モンテカルロの滑らかなデータ多様体からサンプリングし、一段階のデノイングで真のデータ多様体に投影する。 我々の離散ウォーク・ジャンプサンプリング形式は、エネルギーベースモデルの対照的な分散訓練とスコアベースモデルのサンプル品質の改善を組み合わせたものである。 抗体タンパク質生成モデルにおける本手法のロバスト性を評価し, タンパク質生成モデルに分布整合性スコアを導入する。
  論文  参考訳（メタデータ） (2023-06-08T17:03:46Z)
• Reducing Training Sample Memorization in GANs by Training with Memorization Rejection [80.0916819303573]
  本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。 我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
  論文  参考訳（メタデータ） (2022-10-21T20:17:50Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。