論文の概要: Language Diffusion Models are Associative Memories Capable of Retrieving Unseen Data

• arxiv url: http://arxiv.org/abs/2604.26841v1
• Date: Wed, 29 Apr 2026 16:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.482519
• Title: Language Diffusion Models are Associative Memories Capable of Retrieving Unseen Data
• Title（参考訳）: 言語拡散モデルは、未知のデータを取得することのできる連想記憶である
• Authors: Bao Pham, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov, Matteo Negri,
• Abstract要約: 統一型離散拡散モデルが連想記憶として振る舞うことを示す。 トレーニングデータセットのサイズによって制御されるシャープな記憶と一般化の遷移を同定する。
• 参考スコア（独自算出の注目度）: 35.34519955608767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When do language diffusion models memorize their training data, and how to quantitatively assess their true generative regime? We address these questions by showing that Uniform-based Discrete Diffusion Models (UDDMs) fundamentally behave as Associative Memories (AMs) $\textit{with emergent creative capabilities}$. The core idea of an AM is to reliably recover stored data points as $\textit{memories}$ by establishing distinct basins of attraction around them. Historically, models like Hopfield networks use an explicit energy function to guarantee these stable attractors. We broaden this perspective by leveraging the observation that energy is not strictly necessary, as basins of attraction can also be formed via conditional likelihood maximization. By evaluating token recovery of $\textit{training}$ and $\textit{test}$ examples, we identify in UDDMs a sharp memorization-to-generalization transition governed by the size of the training dataset: as it increases, basins around training examples shrink and basins around unseen test examples expand, until both later converge to the same level. Crucially, we can detect this transition using only the conditional entropy of predicted token sequences: memorization is characterized by vanishing conditional entropy, while in the generalization regime the conditional entropy of most tokens remains finite. Thus, conditional entropy offers a practical probe for the memorization-to-generalization transition in deployed models.
• Abstract（参考訳）: 言語拡散モデルはトレーニングデータを記憶し、真の生成体制をどのように定量的に評価するか? 統一型離散拡散モデル(UDDM)は、基本的に、連想記憶(AM)$\textit{with emergent creative capabilities}$として振る舞う。 AMの中核となる考え方は、保存されたデータポイントを$\textit{memories}$として確実に復元することである。 歴史的に、ホップフィールドネットワークのようなモデルは、これらの安定した引き付けを保証するために明示的なエネルギー関数を使用する。 我々は、エネルギーが厳密には必要ないという観測を活用して、この視点を広げる。 $\textit{training}$と$\textit{test}$のトークンリカバリを評価することで、UDDMではトレーニングデータセットのサイズによって支配されるシャープな記憶から一般化への移行が特定される。 メモリ化は条件エントロピーの消滅によって特徴づけられるが、一般化の過程ではほとんどのトークンの条件エントロピーは有限である。 したがって、条件エントロピーは、デプロイされたモデルにおける記憶から一般化への遷移の実践的なプローブを提供する。

関連論文リスト

• Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects [17.220195638215507]
  拡散言語モデル (DLMs) は自己回帰言語モデル (ARMs) の代替として登場した。 DLMは、ARMと比較して、個人識別情報(PII)の記憶に基づくリークが著しく低い。
  論文  参考訳（メタデータ） (2026-03-02T19:03:32Z)
• Entropy-Memorization Law: Evaluating Memorization Difficulty of Data in LLMs [31.83017977730219]
  LLM(Large Language Models)は、トレーニングデータの一部を記憶することが知られており、適切な指示を下すと、時には冗長な内容が再現される。 本稿では,データエントロピーが記憶スコアと線形に相関していることを示すエントロピー記憶法を提案する。 エントロピー記憶法(Entropy-Memorization Law)の発見と同じ戦略を採用することで、トレーニングとテストデータの区別をシンプルかつ効果的に行うことができる。
  論文  参考訳（メタデータ） (2025-07-08T14:58:28Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。