論文の概要: FSC-Net: Fast-Slow Consolidation Networks for Continual Learning

• arxiv url: http://arxiv.org/abs/2511.11707v1
• Date: Wed, 12 Nov 2025 15:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.01903
• Title: FSC-Net: Fast-Slow Consolidation Networks for Continual Learning
• Title（参考訳）: FSC-Net:継続的学習のための高速低速統合ネットワーク
• Authors: Mohamed El Gorrim,
• Abstract要約: 本稿では,段階的知識統合から素早いタスク学習を分離するデュアルネットワークアーキテクチャを提案する。 提案手法では,新しいタスクへの即時適応のための高速ネットワーク(NN1)と,蒸留と再生を通じて知識を集約する低速ネットワーク(NN2)を用いる。 以上の結果から, アーキテクチャ上の複雑さではなく, 二重スケールの凝縮機構が破滅的忘れを緩和する中心となるという実証的証拠が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning remains challenging due to catastrophic forgetting, where neural networks lose previously acquired knowledge when learning new tasks. Inspired by memory consolidation in neuroscience, we propose FSC-Net (Fast-Slow Consolidation Networks), a dual-network architecture that separates rapid task learning from gradual knowledge consolidation. Our method employs a fast network (NN1) for immediate adaptation to new tasks and a slow network (NN2) that consolidates knowledge through distillation and replay. Within the family of MLP-based NN1 variants we evaluated, consolidation effectiveness is driven more by methodology than architectural embellishments -- a simple MLP outperforms more complex similarity-gated variants by 1.2pp. Through systematic hyperparameter analysis, we observed empirically that pure replay without distillation during consolidation achieves superior performance, consistent with the hypothesis that distillation from the fast network introduces recency bias. On Split-MNIST (30 seeds), FSC-Net achieves 91.71% +/- 0.62% retention accuracy, a +4.27pp gain over the fast network alone (87.43% +/- 1.27%, paired t=23.585, p < 1e-10). On Split-CIFAR-10 (5 seeds), our method achieves 33.31% +/- 0.38% retention with an +8.20pp gain over the fast network alone (25.11% +/- 1.61%, paired t=9.75, p < 1e-3), demonstrating +8.20pp gain, though absolute performance (33.31%) remains modest and below random expectation, highlighting need for stronger backbones. Our results provide empirical evidence that the dual-timescale consolidation mechanism, rather than architectural complexity, is central to mitigating catastrophic forgetting in this setting.
• Abstract（参考訳）: ニューラルネットワークは、新しいタスクを学ぶ際に、以前獲得した知識を失う。 FSC-Net(Fast-Slow Consolidation Networks)は,脳神経科学における記憶集約に着想を得て,段階的知識統合から迅速なタスク学習を分離する2重ネットワークアーキテクチャである。 提案手法では,新しいタスクへの即時適応のための高速ネットワーク(NN1)と,蒸留と再生を通じて知識を集約する低速ネットワーク(NN2)を用いる。 私たちが評価したMPPベースのNN1変種群の中で、統合の有効性は、アーキテクチャ的な実装よりも方法論によって駆動される -- 単純なMPPは、1.2ppの複雑な類似性を持つ変種よりも優れています。 系統的なハイパーパラメータ解析により, 蒸留を伴わない蒸留による純粋な再生は, 高速ネットワークからの蒸留が再帰バイアスをもたらすという仮説と一致して, 優れた性能が得られることを実証的に観察した。 Split-MNIST (30種)では、FSC-Netは91.71% +/- 0.62%の保持精度を達成し、高速ネットワークだけでは+4.27pp(87.43% +/- 1.27%、ペア t=23.585, p < 1e-10)である。 Split-CIFAR-10(5種)では,高速ネットワークのみに+8.20pp(25.11%+-1.61%,ペアt=9.75,p <1e-3),+8.20pp(33.31%)の保持率で33.31%の保持率を達成した。 以上の結果から, 二重時間的統合機構は, 構造的複雑さよりも, 破滅的な忘れを緩和する中心的存在であることが実証された。

関連論文リスト

• NM-Hebb: Coupling Local Hebbian Plasticity with Metric Learning for More Accurate and Interpretable CNNs [0.0]
  NM-Hebbは神経刺激による局所的可塑性と遠隔監視を統合している。 フェーズ1は、クロスエントロピーの目標を共同で最適化することで、標準的な教師付きトレーニングを拡張します。 フェーズ2は、一対のメートル法学習損失でバックボーンを微調整する。
  論文  参考訳（メタデータ） (2025-08-27T13:53:04Z)
• Multi-Agent Reinforcement Learning for Sample-Efficient Deep Neural Network Mapping [54.65536245955678]
  本稿では,サンプル非効率性の課題を克服するために,分散型マルチエージェント強化学習(MARL)フレームワークを提案する。 相関解析に基づいて類似のマッピングパラメータを同一エージェントに割り当てるエージェントクラスタリングアルゴリズムを提案する。 実験の結果,MARL法は標準単エージェントRLよりも30～300倍効率が向上した。
  論文  参考訳（メタデータ） (2025-07-22T05:51:07Z)
• Auto-Compressing Networks [51.221103189527014]
  本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。 本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。 これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [32.918269107547616]
  ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。 最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。 極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
  論文  参考訳（メタデータ） (2024-11-20T18:54:53Z)
• UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
  Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。 本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。 我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
  論文  参考訳（メタデータ） (2024-05-29T06:53:18Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。