論文の概要: Memorization to Generalization: Emergence of Diffusion Models from Associative Memory
- arxiv url: http://arxiv.org/abs/2505.21777v2
- Date: Fri, 20 Jun 2025 19:20:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 14:54:00.3413
- Title: Memorization to Generalization: Emergence of Diffusion Models from Associative Memory
- Title（参考訳）: 一般化への記憶:連想記憶からの拡散モデルの創出
- Authors: Bao Pham, Gabriel Raya, Matteo Negri, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov,
- Abstract要約: AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。
本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
- 参考スコア（独自算出の注目度）: 27.677278702224687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hopfield networks are associative memory (AM) systems, designed for storing and retrieving patterns as local minima of an energy landscape. In the classical Hopfield model, an interesting phenomenon occurs when the amount of training data reaches its critical memory load $- spurious\,\,states$, or unintended stable points, emerge at the end of the retrieval dynamics, leading to incorrect recall. In this work, we examine diffusion models, commonly used in generative modeling, from the perspective of AMs. The training phase of diffusion model is conceptualized as memory encoding (training data is stored in the memory). The generation phase is viewed as an attempt of memory retrieval. In the small data regime the diffusion model exhibits a strong memorization phase, where the network creates distinct basins of attraction around each sample in the training set, akin to the Hopfield model below the critical memory load. In the large data regime, a different phase appears where an increase in the size of the training set fosters the creation of new attractor states that correspond to manifolds of the generated samples. Spurious states appear at the boundary of this transition and correspond to emergent attractor states, which are absent in the training set, but, at the same time, have distinct basins of attraction around them. Our findings provide: a novel perspective on the memorization-generalization phenomenon in diffusion models via the lens of AMs, theoretical prediction of existence of spurious states, empirical validation of this prediction in commonly-used diffusion models.
- Abstract（参考訳）: ホップフィールド・ネットワーク(Hopfield network)は、エネルギーランドスケープの局所的なミニマとしてパターンを保存および検索するために設計された連想メモリ(AM)システムである。
古典的なホップフィールドモデルでは、トレーニングデータの量が重要なメモリ負荷である $- spurious\,\,states$,unintended stable point に達すると、検索ダイナミクスの最後に現れる興味深い現象が起こり、誤ったリコールが発生する。
本研究では,ジェネレーティブ・モデリングにおいてよく用いられる拡散モデルについて,AMの観点から検討する。
拡散モデルのトレーニングフェーズは、メモリ符号化(学習データがメモリに格納される)として概念化される。
生成フェーズは、メモリ検索の試みと見なされる。
小さなデータ構造では、拡散モデルは強い記憶フェーズを示し、トレーニングセット内の各サンプルの周囲に異なるアトラクションの盆地をネットワークが生成し、臨界記憶負荷の下のホップフィールドモデルに類似する。
大規模なデータ体制では、トレーニングセットのサイズが大きくなると、生成されたサンプルの多様体に対応する新しい誘引状態が生成される。
清潔な状態はこの遷移の境界に現れ、トレーニングセットに欠落している創発的な誘引状態に対応するが、同時にそれらの周りには異なるアトラクションの盆地がある。
その結果,AMのレンズによる拡散モデルにおける記憶・一般化現象,スプリアス状態の存在の理論的予測,一般的に使用される拡散モデルにおけるこの予測の実証的検証,という新たな視点が得られた。
関連論文リスト
- Diffusion models under low-noise regime [3.729242965449096]
拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。
トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。
この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
論文 参考訳（メタデータ） (2025-06-09T15:07:16Z) - Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
量子離散化拡散確率モデル(QD3PM)を提案する。
これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。
本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
論文 参考訳（メタデータ） (2025-05-08T11:48:21Z) - Resolving Memorization in Empirical Diffusion Model for Manifold Data in High-Dimensional Spaces [5.716752583983991]
データ分布がn個の点からなる場合、経験的拡散モデルは既存のデータ点を再現する傾向がある。
本研究は,経験的拡散シミュレーションの最後に慣性更新を適用することで,記憶の問題を解くことができることを示す。
このモデルから得られたサンプルの分布は、次元$d$の$C2$多様体上の真のデータ分布を、位数$O(n-frac2d+4)$のWasserstein-1距離内で近似することを示した。
論文 参考訳（メタデータ） (2025-05-05T09:40:41Z) - One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。
われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。
本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-27T07:47:27Z) - A solvable generative model with a linear, one-step denoiser [0.0]
線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを構築した。
トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。
論文 参考訳（メタデータ） (2024-11-26T19:00:01Z) - Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。
拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
論文 参考訳（メタデータ） (2024-10-31T15:57:04Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data [51.03144354630136]
最近の進歩は、拡散モデルが高品質な画像を生成することを示している。
我々はこの現象を階層的なデータ生成モデルで研究する。
t$の後に作用する後方拡散過程は相転移によって制御される。
論文 参考訳（メタデータ） (2024-02-26T19:52:33Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - On Memorization in Diffusion Models [44.031805633114985]
より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。
我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。
本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
論文 参考訳（メタデータ） (2023-10-04T09:04:20Z) - In search of dispersed memories: Generative diffusion models are
associative memory networks [6.4322891559626125]
生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。
生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。
この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
論文 参考訳（メタデータ） (2023-09-29T14:48:24Z) - Diffusion Models in Vision: A Survey [73.10116197883303]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (2022-09-10T22:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。