論文の概要: Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory

• arxiv url: http://arxiv.org/abs/2512.15267v1
• Date: Wed, 17 Dec 2025 10:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.932712
• Title: Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory
• Title（参考訳）: 希薄分散メモリを越えた連続学習のための蒸留誘導構造変換
• Authors: Huiyan Xue, Xuming Ran, Yaxin Li, Qi Xu, Enhui Li, Yi Xu, Qiang Zhang,
• Abstract要約: 本稿では, 蒸留をレギュレータとしてではなく, トポロジに整合した情報流路として扱う構造ガイド型連続学習フレームワークを提案する。 SSDは、活性化頻度の高いニューロンを特定し、リプレイやタスクラベルを必要とせずに、以前のTop-Kworksおよび出力ロジット内の知識を選択的に蒸留する。
• 参考スコア（独自算出の注目度）: 29.87863386264415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse neural systems are gaining traction for efficient continual learning due to their modularity and low interference. Architectures such as Sparse Distributed Memory Multi-Layer Perceptrons (SDMLP) construct task-specific subnetworks via Top-K activation and have shown resilience against catastrophic forgetting. However, their rigid modularity limits cross-task knowledge reuse and leads to performance degradation under high sparsity. We propose Selective Subnetwork Distillation (SSD), a structurally guided continual learning framework that treats distillation not as a regularizer but as a topology-aligned information conduit. SSD identifies neurons with high activation frequency and selectively distills knowledge within previous Top-K subnetworks and output logits, without requiring replay or task labels. This enables structural realignment while preserving sparse modularity. Experiments on Split CIFAR-10, CIFAR-100, and MNIST demonstrate that SSD improves accuracy, retention, and representation coverage, offering a structurally grounded solution for sparse continual learning.
• Abstract（参考訳）: スパースニューラルネットワークは、モジュラリティと低干渉のため、効率的な連続学習のために勢いを増している。 SDMLP(Sparse Distributed Memory Multi-Layer Perceptrons)のようなアーキテクチャは、Top-Kアクティベーションを通じてタスク固有のサブネットワークを構築し、破滅的な忘れに対するレジリエンスを示している。 しかし、その厳密なモジュラリティは、クロスタスクの知識再利用を制限し、高い疎性の下でパフォーマンスを低下させる。 Selective Subnetwork Distillation (SSD) は, 蒸留をレギュレータではなく, トポロジに整合した情報コンジットとして扱う構造的ガイド付き連続学習フレームワークである。 SSDは、活性化頻度の高いニューロンを特定し、リプレイやタスクラベルを必要とせずに、以前のTop-Kサブネットワークと出力ロジット内の知識を選択的に蒸留する。 これにより、スパースモジュール性を維持しながら構造的再配置が可能になる。 Split CIFAR-10、CIFAR-100、MNISTの実験では、SSDは精度、保持率、表現カバレッジを改善し、スパース連続学習のための構造的基盤のソリューションを提供する。

関連論文リスト

• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Continual Learning for Adaptive AI Systems [0.0]
  クラスタ・アウェア・リプレイ(Cluster-Aware Replay, CAR)は、クラスバランスの小さなリプレイバッファと正規化用語を統合するハイブリッド連続学習フレームワークである。 CARは、微調整単独よりも初期のタスクパフォーマンスを保ちます。
  論文  参考訳（メタデータ） (2025-10-09T00:44:32Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。