論文の概要: Metaplasticity as adaptive gradient preconditioning for incremental learning

• arxiv url: http://arxiv.org/abs/2608.14634v1
• Date: Mon, 27 Jul 2026 21:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.925322
• Title: Metaplasticity as adaptive gradient preconditioning for incremental learning
• Title（参考訳）: 漸進学習のための適応的勾配プレコンディショニングとしてのメタ塑性
• Authors: Isabelle Aguilar, Zayn Andre Zainal, Omid Kavehei,
• Abstract要約: SynGAPは適応的勾配事前条件に基づくタスクフリー連続学習フレームワークである。 実証的な評価は、SynGAPが確立された基準線に比べて破滅的な忘れを緩和する優れた能力を示している。
• 参考スコア（独自算出の注目度）: 0.9379969114114787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological intelligence naturally prevents catastrophic forgetting through Complementary Learning Systems (CLS) theory, a macroscopic consolidation process driven at the local level by synaptic metaplasticity: the continuous, history-dependent neuromodulation of individual synapses. While artificial neural networks struggle with the stability-plasticity dilemma in non-stationary environments, existing solutions often require task labels or incur massive memory overhead, diverging from biological reality. Re-framing this localized neuromodulation as an optimization-driven process, we introduce $\textbf{SynGAP}$: $\textbf{Syn}$aptic $\textbf{G}$eometric $\textbf{A}$daptive $\textbf{P}$reconditioning. SynGAP is a task-free continual learning framework based on adaptive gradient preconditioning. Rather than relying on explicit episodic triggers, SynGAP simulates real-time metaplasticity by maintaining an exponential moving average of the Fisher Information Matrix over a continuous data stream. During the optimization step, these dynamic metaplastic states are translated into a bounded multiplicative mask that preconditions raw gradients, selectively attenuating updates to critical historical parameters. Empirical evaluations demonstrate SynGAP's superior ability to mitigate catastrophic forgetting compared to established baselines. On the Split CIFAR-100 benchmark, SynGAP delivers a $4\times$ increase in accuracy compared to EWC++ and outperforms Experience Replay (ER) by almost $10\%$, while reducing the forgetting measure by over $10\%$ against both methods. Furthermore, on the CORe50 benchmark, SynGAP achieves about $68\%$, a $10\%$ improvement over optimizer baselines. By mathematically formalizing continuous biological metaplasticity as stable gradient-based regularization, SynGAP offers a highly robust and memory-efficient solution for adaptive intelligence at the edge.
• Abstract（参考訳）: 生物学的知能は、個々のシナプスの連続的で歴史に依存した神経調節であるシナプスメタ塑性によって局所的に駆動されるマクロな統合プロセスであるComplementary Learning Systems (CLS)理論を通じて、破滅的な忘れを自然に防いでいる。 ニューラルネットワークは、非定常環境での安定性-塑性ジレンマに苦慮するが、既存のソリューションでは、しばしばタスクラベルや大量のメモリオーバーヘッドを必要とし、生物学的現実から逸脱する。 この局所化ニューロ変調を最適化駆動プロセスとして再定義し、$\textbf{SynGAP}$: $\textbf{Syn}$aptic $\textbf{G}$eometric $\textbf{A}$daptive $\textbf{P}$reconditioningを導入する。 SynGAPは適応的勾配事前条件に基づくタスクフリー連続学習フレームワークである。 SynGAPは明示的なエピソードトリガに頼るのではなく、連続したデータストリーム上でフィッシャー情報マトリックスの指数的な移動平均を維持することによって、リアルタイムなメタ塑性をシミュレートする。 最適化段階において、これらの動的メタ塑性状態は、生勾配を前提とした有界乗法マスクに変換され、重要な歴史的パラメータへの更新を選択的に減衰する。 実証的な評価は、SynGAPが確立された基準線に比べて破滅的な忘れを緩和する優れた能力を示している。 Split CIFAR-100ベンチマークでは、SynGAPはEWC++と比較して4ドル以上精度が向上し、Experience Replay(ER)が約10ドル%向上した。 さらに、CORe50ベンチマークでは、SynGAPはオプティマイザベースラインよりも約6,8 %、100 %以上改善されている。 連続的な生物学的メタ可塑性を安定な勾配ベース正規化として数学的に定式化することにより、SynGAPはエッジでの適応的インテリジェンスに対して、非常に堅牢でメモリ効率のよいソリューションを提供する。

関連論文リスト

• FASE: Fast Adaptive Semantic Entropy for Code Quality [0.28647133890966986]
  本稿では,FASE(Fast Adaptive Semantic Entropy)について紹介する。 HumanEvalとBigCodeBenchの評価は、FASEがLLMエンテーメントにより最先端のセマンティックエントロピーより優れていることを示している。 FASEは計算オーバーヘッドを無視し、従来のセマンティックエントロピーアプローチのランタイムコストの約0.3%しか必要としない。
  論文  参考訳（メタデータ） (2026-06-08T17:53:05Z)
• NeuroPlastic: A Plasticity-Modulated Optimizer for Biologically Inspired Learning Dynamics [9.309128231118969]
  NeuroPlasticは、適応的な多信号変調機構で勾配ベースの更新を強化する、塑性変調アルゴリズムである。 画像分類ベンチマーク全体において、NeuroPlasticは、制御された勾配のみのアブレーションよりも一貫して改善されている。 これらの結果から, 多信号の塑性刺激による変調は, 従来の勾配駆動最適化への有用な拡張となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-29T04:52:21Z)
• Causal Direction from Convergence Time: Faster Training in the True Causal Direction [0.0]
  最適化力学に基づく因果方向同定の原理である因果計算非対称性(Causal Computational Asymmetric, CCA)を紹介する。 CCAは最適化時空間で動作し、RESIT、IGCI、SkewScoreなどの手法と区別する。 さらに、グラフ構造学習、因果情報圧縮、ポリシー最適化を統合したCausal Compression Learning(CCL)というフレームワークにCCAを組み込む。
  論文  参考訳（メタデータ） (2026-02-24T21:34:57Z)
• Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
  Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。 Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
  論文  参考訳（メタデータ） (2025-04-24T12:32:13Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• SAPPHIRE: Preconditioned Stochastic Variance Reduction for Faster Large-Scale Statistical Learning [18.055120576191204]
  Ill-conditioned objectives and nonsmooth regularizers under the performance of traditional convex method。 本研究では,不条件な複合型大規模機械学習問題に対する分散自由解を提案する。
  論文  参考訳（メタデータ） (2025-01-27T10:36:45Z)
• PLASTIC: Improving Input and Label Plasticity for Sample Efficient Reinforcement Learning [54.409634256153154]
  強化学習(RL)では, サンプル効率の向上が重要である。 原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。 本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
  論文  参考訳（メタデータ） (2023-06-19T06:14:51Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Brain Image Synthesis with Unsupervised Multivariate Canonical CSC$\ell_4$Net [122.8907826672382]
  我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
  論文  参考訳（メタデータ） (2021-03-22T05:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。