論文の概要: Continual Learning in Modern Hopfield Networks with an Application to Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.27975v2
• Date: Thu, 28 May 2026 06:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:54.83994
• Title: Continual Learning in Modern Hopfield Networks with an Application to Diffusion Models
• Title（参考訳）: 近代ホップフィールドネットワークにおける連続学習と拡散モデルへの応用
• Authors: Ken Takeda, Masafumi Oizumi, Ryo Karakida,
• Abstract要約: ホップフィールドエネルギーを用いた生成モデルにおける連続学習について検討する。 その結果, 高エネルギー・外層型試料では, クラスター型試料よりも大きなエネルギー増加がみられた。 また、メモリリプレイを分析し、高エネルギーサンプルに特に有効であることを示す。
• 参考スコア（独自算出の注目度）: 10.0426843232642
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative models, including diffusion models, are increasingly used as foundation models and adapted through sequential fine-tuning, making continual learning an essential problem setting. However, continual learning in such generative models remains poorly understood: after a task change, what aspects of the learned distribution are most easily lost, and what replay samples should be prioritized? We address these questions through the modern Hopfield energy. Recent links between modern Hopfield networks (MHNs) and diffusion models allow analyses in MHNs to be transferred to diffusion models. We introduce intrinsic forgetting as an increase in Hopfield energy after the task change. In tractable settings in an MHN, we prove that high-energy, outlier-like samples undergo a larger energy increase than cluster-like samples, implying that samples located in sharp, isolated basins are more forgettable. We further analyze memory replay and show that replay is particularly effective for high-energy samples, enabling an energy-based selection of replay samples. We validate these predictions in experiments on MHNs and two diffusion models under continual-learning settings: Stable Diffusion and a pixel-space DDPM. In these diffusion models, Hopfield energy tracks reconstruction-based forgetting, and replay experiments reveal energy-dependent mitigation of forgetting that is consistent with the MHN analysis.
• Abstract（参考訳）: 拡散モデルを含む生成モデルは、基礎モデルとして利用され、逐次微調整によって適応され、連続的な学習が重要な問題設定となる。 しかし、このような生成モデルにおける連続的な学習は、タスク変更後、学習された分布のどの側面が最も容易に失われるか、どのリプレイサンプルが優先されるべきか、といった、理解に乏しいままである。 現代のホップフィールドエネルギーを通してこれらの疑問に対処する。 近年のホップフィールドネットワーク(MHN)と拡散モデルの間のリンクにより、MHNの分析は拡散モデルに転送される。 タスク変更後のホップフィールドエネルギーの増加として,本質的な忘れ込みを導入する。 MHNのトラクタブルな設定では、高エネルギーで外層的な試料がクラスターのような試料よりも大きなエネルギー増加をしており、鋭く孤立した盆地にある試料がより忘れやすいことを示唆している。 さらに、メモリリプレイを解析し、特に高エネルギーサンプルに有効であることを示し、エネルギーベースのリプレイサンプルの選択を可能にした。 安定拡散と画素空間DDPMという連続学習環境下でのMHNと2つの拡散モデルの実験において,これらの予測を検証した。 これらの拡散モデルでは、ホップフィールドエネルギートラックは再構成に基づくリフレクションとリプレイ実験により、MHN解析と整合したリフレクションのエネルギー依存的な緩和を明らかにする。

関連論文リスト

• Generating Physically Consistent Molecules with Energy-Based Models [6.4105959373235875]
  原子付加スカラー電位を明示的シミュレーションなしで学習することにより誘導バイアスを復元するエネルギーベースモデルであるEMMolを導入する。 EBMolは、QM9とGEOM-Drugsの最先端性能を達成した最初の3D分子生成用ESMである。
  論文  参考訳（メタデータ） (2026-05-18T13:26:52Z)
• Consistent Sampling and Simulation: Molecular Dynamics with Energy-Based Diffusion Models [50.77646970127369]
  本稿では,Fokker-Planck由来の正規化項を用いたエネルギーベース拡散モデルを提案する。 高速折りたたみタンパク質を含む複数の生体分子系をサンプリング・シミュレートし,本手法を実証する。
  論文  参考訳（メタデータ） (2025-06-20T16:38:29Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Particle Dynamics for Learning EBMs [83.59335980576637]
  エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T23:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。