論文の概要: Generative Replay for Equilibrium Propagation: Toward Edge-Friendly Continual Learning in Hopfield Networks
- arxiv url: http://arxiv.org/abs/2610.37139v1
- Date: Tue, 27 Oct 2026 12:35:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.586757
- Title: Generative Replay for Equilibrium Propagation: Toward Edge-Friendly Continual Learning in Hopfield Networks
- Title（参考訳）: 平衡伝播のための生成的リプレイ:ホップフィールドネットワークにおけるエッジフレンドリーな連続学習を目指して
- Abstract要約: この研究は、EqPropで訓練されたHopfield Networksを内部から忘れてしまう大惨事に直面している。
本稿では,ホップフィールドネットワークの本質的な生成ダイナミクスを利用する,エネルギーベースの生成再生戦略textbf(EB-Gen)を提案する。
- 参考スコア（独自算出の注目度）: 0.3656663406309542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equilibrium Propagation (EqProp) offers a biologically grounded and hardware-aligned alternative to backpropagation for training Hopfield Networks. However, its behavior in continual learning settings remains largely unexplored. This work confronts catastrophic forgetting in EqProp-trained Hopfield Networks from the inside out, eliminating the need for external data buffers or architectural overhead that standard Experience Replay \textbf{(ER)} and Generative Replay \textbf{(Gen-Replay)} inevitably require. We introduce an Energy-Based Generative Replay strategy \textbf{(EB-Gen)} which exploits the intrinsic generative dynamics of Hopfield Networks, allowing a single model to act as both classifier and replay samples generator. Samples capturing past task knowledge are generated by relaxing a frozen copy of the network, enabling rehearsal solely through internally generated pseudo-data. We evaluate the proposed method in the Class-Incremental setting, using the split versions of the MNIST and CIFAR10 benchmarks and compare it with FineTune, Experience Replay, Generative Replay, Sleep-Like Replay Consolidation (SRC) and Joint training. Our results show that EB-Gen significantly improves stability while preserving plasticity, achieving a 75\% and 64\% average accuracy on Split MNIST and Split CIFAR10 respectively. These findings show that Equilibrium Propagation can be adapted to alleviate catastrophic forgetting without forgoing the traits which made it compelling in the first place.
- Abstract（参考訳）: EqProp(Equilibrium Propagation)は、ホップフィールドネットワークのトレーニングのためのバックプロパゲーションに代わる、生物学的に基盤とハードウェアに整った代替手段を提供する。
しかし、連続的な学習環境におけるその行動はほとんど未解明のままである。
この作業は、EqPropでトレーニングされたHopfield Networksの内部から破滅的な忘れに直面し、標準のExperience Replay \textbf{(ER)}とGenerative Replay \textbf{(Gen-Replay)}が必然的に必要とする外部データバッファやアーキテクチャ上のオーバーヘッドが不要になる。
本稿では,ホップフィールドネットワークの固有生成ダイナミクスを利用したエネルギーベースの生成再生戦略であるtextbf{(EB-Gen)}を導入し,単一モデルを分類器と再生サンプル生成器の両方として機能させる。
過去のタスク知識を捉えたサンプルは、ネットワークの凍結したコピーを緩和することで生成され、内部で生成された擬似データを通してのみリハーサルを可能にする。
MNISTとCIFAR10ベンチマークの分割版を用いてクラスインクリメンタル設定で提案手法を評価し,FineTune,Experience Replay,Generative Replay,Sleep-like Replay Consolidation (SRC) とジョイントトレーニングと比較した。
以上の結果より, EB-Genは可塑性を保ちながら安定性を向上し, スプリットMNISTおよびスプリットCIFAR10の平均精度は75 %, 64 %であった。
これらの結果から,エキリビウム・プロパゲーションは,そもそも説得力のある特徴を放棄することなく,破滅的な忘れを軽減できる可能性が示唆された。
関連論文リスト
- RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。
本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T17:59:30Z) - FedSQ: Optimized Weight Averaging via Fixed Gating [1.2058208023553034]
フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。
本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。
ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
論文 参考訳（メタデータ） (2026-04-03T11:54:23Z) - RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。
実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
論文 参考訳（メタデータ） (2026-03-09T16:23:33Z) - Towards Practical Single-shot Motion Synthesis [5.988300351904956]
我々は単発モーション生成に焦点を当て、より具体的にはGAN(Generative Adversarial Network)のトレーニング時間を短縮することに焦点を当てる。
特に,ミニバッチトレーニングにおけるGANの平衡崩壊の課題に対処する。
改良されたGANは、元のGANアーキテクチャと比較して、Mixamoベンチマークの競合品質と多様性を実現する。
論文 参考訳（メタデータ） (2024-06-03T09:27:57Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - FuRPE: Learning Full-body Reconstruction from Part Experts [20.746305071768887]
本稿では,高品質な擬似ラベルを導き出すために,パートエキスパートと巧妙な擬似接地木選択方式を用いたフレームワークFuRPEを紹介する。
これらのラベルは、我々のアプローチの中心であり、利用可能なデータから効率的に学習する能力を持つ。
本稿では,FuRPEを用いて2段階と完全畳み込み1段階のフルボディ再構築ネットワークを訓練する。
論文 参考訳（メタデータ） (2022-11-30T02:47:18Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Lifted Regression/Reconstruction Networks [17.89437720094451]
本稿では,リフレクション/リコンストラクションネットワーク(LRRN)を提案する。
LRRNは、昇降ニューラルネットワークと出力層に対する保証されたリプシッツ連続性特性を結合する。
教師なし・教師なし学習への応用を解析・数値的に実証する。
論文 参考訳（メタデータ） (2020-05-07T13:24:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。