論文の概要: Spectral Signatures of Memorization Basins in Diffusion Trajectories

• arxiv url: http://arxiv.org/abs/2611.01775v1
• Date: Sun, 01 Nov 2026 10:28:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:38:35.665656
• Title: Spectral Signatures of Memorization Basins in Diffusion Trajectories
• Title（参考訳）: 拡散軌道における記憶盆地のスペクトル信号
• Abstract要約: 近年の研究では、記憶されたトレーニングサンプルが、記憶の盆地として知られるデータ/ラテント空間の連続した領域内に存在することが示されている。 本稿では,条件付き,非条件付き,整流型拡散モデルのための記憶盆地の幾何学的特徴について述べる。
• 参考スコア（独自算出の注目度）: 9.481535854688103
• License:
• Abstract: Diffusion models are known to reproduce individual examples from their training data as a form of memorization with implications for generalization, privacy, and downstream use. Recent work demonstrated that memorized training samples reside inside contiguous regions of the data/latent space known as basins of memorization -- once a denoising trajectory enters a basin, under finite perturbations it irreversibly reproduces a memorized example. Prior empirical work on such basins in trained models has primarily focused on classifier-free guidance based detection and mitigation strategies in text-to-image models, leaving basin entry and their formation largely uncharacterized. In this paper, we present a geometric characterization of memorization basins for conditional, unconditional, and rectified-flow-based diffusion models. We observe a characteristic signature in the local spectrum of the function geometry that distinguishes basin entry: the emergence of a dominant singular mode followed by a sharp spectral recovery. This signature appears at two timescales: along denoising trajectories during inference and over the course of training. We further investigate whether these geometric signatures can be used to intervene on memorization. During training, we suppress memorization by acting on the dominant mode. At inference, we develop methods to identify trajectories entering memorization basins and steer them away. We find that these interventions remain effective even with low-dimensional approximations of the underlying geometry, and demonstrate that geometry-informed steering extends to large-scale text-to-image diffusion models. Together, our results corroborate that local spectral geometry provides a common basis for characterizing memorization and for suppressing, detecting, and steering away from it across training and generation.
• Abstract（参考訳）: 拡散モデルは、一般化、プライバシ、下流の使用に影響を及ぼす暗記の一形態として、トレーニングデータから個々のサンプルを再現することが知られている。 最近の研究は、記憶されたトレーニングサンプルが、記憶の盆地として知られるデータ/ラテント空間の連続した領域内に存在することを示した。 訓練されたモデルにおけるそのような盆地に関する実験的な研究は、主に、テキスト・ツー・イメージモデルにおける分類なし誘導に基づく検出と緩和戦略に焦点を合わせており、盆地の入り口とその形成は、ほとんど文字化されていない。 本稿では,条件付き,非条件付き,整流型拡散モデルのための記憶盆地の幾何学的特徴について述べる。 本研究は, 盆地の入射を区別する関数幾何学の局所スペクトルにおける特徴的特徴として, 支配的な特異モードの出現と鋭いスペクトル回復を観察する。 このシグネチャは2つのタイムスケールに現れます。 さらに、これらの幾何学的シグネチャが記憶に介入できるかどうかについても検討する。 トレーニング中は、支配的なモードで行動することで記憶を抑制する。 推論において, 記憶盆地に入る軌跡を同定し, そこから引き離す手法を開発した。 これらの介入は、基礎となる幾何学の低次元近似においても有効であり、幾何インフォームド・ステアリングが大規模テキスト・画像拡散モデルに拡張されることを示す。 この結果から, 局所スペクトル幾何学は, 記憶を特徴づけ, 記憶を抑え, 検出し, そこから遠ざけるための共通基盤となることが示唆された。

関連論文リスト

• Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models [10.814332619424755]
  拡散モデルのトレーニング損失のヘシアンのいわゆるインプット・ロス曲率(Frobenius norm)は,記憶における両視点の定量化に有効な指標であることを示す。 その結果, サンプルの局所的損失景観と生成可能性との間には, 直接的理論的関係が成立することがわかった。
  論文  参考訳（メタデータ） (2026-10-13T18:31:16Z)
• Localizing Memorized Regions in Diffusion Models via Coordinate-Wise Curvature Differences [7.519872646378835]
  拡散モデルは、意図せずトレーニングサンプルを記憶し、プライバシと著作権に関する懸念を提起する。 局所記憶の幾何的特徴は座標方向の分散崩壊である。 我々は、広く使われているスコア差検出指標の幾何学的説明を提供するスコア差検出プロキシを導出する。
  論文  参考訳（メタデータ） (2026-05-26T09:28:43Z)
• Calibrating Biased Distribution in VFM-derived Latent Space via Cross-Domain Geometric Consistency [52.52950138164424]
  特徴抽出にオフザシェルフ(ビジョン)基礎モデルを利用する場合、特徴分布の幾何学的形状はドメインやデータセット間で顕著な伝達性を示す。 我々は,我々の幾何学的知識誘導分布キャリブレーションフレームワークを,フェデレーション学習とロングテール認識の2つの人気かつ挑戦的な設定で具体化する。 長期学習において、サンプル豊富なカテゴリから移動された幾何学的知識を利用して、サンプル・スカース・テールクラスの真の分布を復元する。
  論文  参考訳（メタデータ） (2025-08-19T05:22:59Z)
• Demystifying Foreground-Background Memorization in Diffusion Models [23.914702151370204]
  拡散モデル(DM)はトレーニング画像を記憶し、生成中にほぼ重複を再現することができる。 現在の検出法は動詞の暗記を識別するが、2つの重要な側面を捉えることができない。 生成した画像内の記憶領域を分類・定量化するセグメンテーションに基づく新しい指標であるフォアグラウンド背景記憶法(FB-Mem)を提案する。
  論文  参考訳（メタデータ） (2025-08-16T20:15:16Z)
• A Geometric Framework for Understanding Memorization in Generative Models [11.263296715798374]
  近年の研究では、深層生成モデルにより、デプロイ時にトレーニングデータポイントを記憶・再生することが可能であることが示されている。 これらの知見は、特に暗記によって引き起こされる法的およびプライバシー上のリスクを考慮して、生成モデルのユーザビリティを疑問視する。 本稿では, 多様体の暗記仮説(MMH)を, 暗記を推論する明快な言語として活用する幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-31T18:09:01Z)
• Exploring Local Memorization in Diffusion Models via Bright Ending Attention [62.979954692036685]
  テキスト・画像拡散モデルにおける「右端」(BE)異常は、トレーニング画像の記憶に起因する。 本稿では,BEを既存のフレームワークに統合する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T02:16:01Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。