論文の概要: Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

• arxiv url: http://arxiv.org/abs/2505.21777v1
• Date: Tue, 27 May 2025 21:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.299083
• Title: Memorization to Generalization: Emergence of Diffusion Models from Associative Memory
• Title（参考訳）: 一般化への記憶:連想記憶からの拡散モデルの創出
• Authors: Bao Pham, Gabriel Raya, Matteo Negri, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov,
• Abstract要約: AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
• 参考スコア（独自算出の注目度）: 27.677278702224687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hopfield networks are associative memory (AM) systems, designed for storing and retrieving patterns as local minima of an energy landscape. In the classical Hopfield model, an interesting phenomenon occurs when the amount of training data reaches its critical memory load $- spurious\,\,states$, or unintended stable points, emerge at the end of the retrieval dynamics, leading to incorrect recall. In this work, we examine diffusion models, commonly used in generative modeling, from the perspective of AMs. The training phase of diffusion model is conceptualized as memory encoding (training data is stored in the memory). The generation phase is viewed as an attempt of memory retrieval. In the small data regime the diffusion model exhibits a strong memorization phase, where the network creates distinct basins of attraction around each sample in the training set, akin to the Hopfield model below the critical memory load. In the large data regime, a different phase appears where an increase in the size of the training set fosters the creation of new attractor states that correspond to manifolds of the generated samples. Spurious states appear at the boundary of this transition and correspond to emergent attractor states, which are absent in the training set, but, at the same time, have distinct basins of attraction around them. Our findings provide: a novel perspective on the memorization-generalization phenomenon in diffusion models via the lens of AMs, theoretical prediction of existence of spurious states, empirical validation of this prediction in commonly-used diffusion models.
• Abstract（参考訳）: ホップフィールド・ネットワーク(Hopfield network)は、エネルギーランドスケープの局所的なミニマとしてパターンを保存および検索するために設計された連想メモリ(AM)システムである。 古典的なホップフィールドモデルでは、トレーニングデータの量が重要なメモリ負荷である $- spurious\,\,states$,unintended stable point に達すると、検索ダイナミクスの最後に現れる興味深い現象が起こり、誤ったリコールが発生する。 本研究では,ジェネレーティブ・モデリングにおいてよく用いられる拡散モデルについて,AMの観点から検討する。 拡散モデルのトレーニングフェーズは、メモリ符号化(学習データがメモリに格納される)として概念化される。 生成フェーズは、メモリ検索の試みと見なされる。 小さなデータ構造では、拡散モデルは強い記憶フェーズを示し、トレーニングセット内の各サンプルの周囲に異なるアトラクションの盆地をネットワークが生成し、臨界記憶負荷の下のホップフィールドモデルに類似する。 大規模なデータ体制では、トレーニングセットのサイズが大きくなると、生成されたサンプルの多様体に対応する新しい誘引状態が生成される。 清潔な状態はこの遷移の境界に現れ、トレーニングセットに欠落している創発的な誘引状態に対応するが、同時にそれらの周りには異なるアトラクションの盆地がある。 その結果,AMのレンズによる拡散モデルにおける記憶・一般化現象,スプリアス状態の存在の理論的予測,一般的に使用される拡散モデルにおけるこの予測の実証的検証,という新たな視点が得られた。

関連論文リスト

• A solvable generative model with a linear, one-step denoiser [0.0]
  線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを構築した。 トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• On Memorization in Diffusion Models [44.031805633114985]
  より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。 我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。 本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
  論文  参考訳（メタデータ） (2023-10-04T09:04:20Z)
• In search of dispersed memories: Generative diffusion models are associative memory networks [6.4322891559626125]
  生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。 生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。 この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
  論文  参考訳（メタデータ） (2023-09-29T14:48:24Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。