論文の概要: Learning without Overwriting: Structural Knowledge Fusion for Continual Learning

• arxiv url: http://arxiv.org/abs/2610.25150v1
• Date: Sun, 18 Oct 2026 10:07:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:08:47.372378
• Title: Learning without Overwriting: Structural Knowledge Fusion for Continual Learning
• Title（参考訳）: 上書きなしの学習:継続的学習のための構造的知識融合
• Abstract要約: 逐次的なディープラーニングにおける破滅的な忘れは、固定容量のアーキテクチャ制約から生じる。 我々は,クラス増分学習における安定性と塑性のトレードオフを緩和する知識融合ネットワーク(KFN)を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Catastrophic forgetting in sequential deep learning arises from a fixed-capacity architectural constraint: parameter updates encoding new tasks perturb weight subspaces supporting prior representations. We introduce the Knowledge Fusion Network (KFN), which mitigates the stability-plasticity trade-off in class-incremental learning through novelty-gated structural expansion rather than parameter negotiation within a shared capacity budget. KFN decouples task acquisition from knowledge consolidation: each incoming task is learned in an isolated lightweight specialist network (2.8M parameters) and integrated into the global model via a Structural Fusion Module that allocates dedicated channel capacity conditioned on a quantitative novelty score. Dual structural isolation--channel-space separation with temporally phased gradient unfreezing--protects consolidated knowledge. On ten-task Split CIFAR-100, KFN achieves 11.94% minimum task accuracy and 71.16% task-10 accuracy, whereas shared-parameter baselines degrade severely: LwF to 9.07% average accuracy (0.00% min), Replay++ to 8.91% (85.08% forgetting), and Replay to 16.21% (73.44% forgetting); KFN's forgetting (57.92%) is 15.5 pp lower than Replay. Furthermore, KFN prevents logit-scale drift, maintaining near-symmetric task performance. Across CIFAR-100 and EuroSAT satellite imagery, KFN's class-incremental retention (72.7% and 42.5%) substantially exceeds the best baselines (29.6% and 0.94%). Crucially, KFN achieves parameter-efficient linear scaling, adding 25% of the base parameter count per step and requiring 25.1% of naive backbone duplication over ten tasks (28.1M vs 112.0M). With a 37.1% peak GPU memory reduction over full retraining, KFN establishes novelty-gated expansion as a practical path beyond fixed-capacity architectures.
• Abstract（参考訳）: 逐次ディープラーニングにおける破滅的な忘れは、固定容量アーキテクチャの制約から生じる: パラメータ更新は、以前の表現をサポートする新しいタスクの摂動重み部分空間をコードする。 本稿では,共有キャパシティ予算内でのパラメータネゴシエーションよりも,新規なゲート構造拡張を通じて,クラスインクリメンタルラーニングにおける安定性と塑性のトレードオフを緩和する知識融合ネットワーク(KFN)を提案する。 KFNは知識統合からタスク取得を分離する: 各タスクは孤立した軽量スペシャリストネットワーク(2.8Mパラメータ)で学習され、定量的なノベルティスコアで条件付けられた専用チャネル容量を割り当てる構造融合モジュールを介してグローバルモデルに統合される。 二重構造分離-時相勾配非凍結によるチャネル空間分離-統合知識を保護する。 10タスクスプリットのCIFAR-100では、KFNは1.94%のタスク精度と71.16%のタスク10の精度を達成したが、共有パラメータのベースラインは、LwFから9.07%の平均精度(0.00% min)、Replay++から8.91%(85.08% 忘れている)、Replayから16.21%(73.44% 忘れている)、KFNのリマインド(57.92%)はリプレイよりも15.5 pp低い。 さらに、KFNはロジットスケールのドリフトを防止し、ほぼ対称なタスク性能を維持する。 CIFAR-100とユーロサットの衛星画像全体では、KFNのクラス増加率(72.7%と42.5%)は最高基準線(29.6%と0.94%)を大きく上回っている。 重要なことに、KFNはパラメータ効率のよい線形スケーリングを実現し、ステップ当たりの基本パラメータ数の25%を加算し、10つのタスク(28.1M対112.0M)に25.1%の単純バックボーン重複を必要とする。 KFNは、フルリトレーニングよりも最大37.1%のGPUメモリ削減を達成し、固定容量アーキテクチャを超える実用的なパスとして、新規なゲート拡張を確立した。

関連論文リスト

• Architectural and Regularization Components in Deep Learning Medical Image Registration: Systematic Ablation Study [0.0]
  正規化だけでゲインの大半を占め、最大変形を53.1から0.51に減らし、99.0%削減した。 組み合わせたモデルでは25.8%(1.78%から2.24%)の精度向上が達成され、解剖学的妥当性は0.596から0.930に上昇した。
  論文  参考訳（メタデータ） (2026-08-23T23:34:20Z)
• CosineGate: Semantic Dynamic Routing via Cosine Incompatibility in Residual Networks [0.0]
  残余ネットワークにおける動的ルーティングのためのエンドツーエンドの微分可能なアーキテクチャであるCosineGateを紹介する。 CosineGateは、自己教師型スキップ信号としてアイデンティティと残像表現のコサイン非互換性を使用する。
  論文  参考訳（メタデータ） (2025-12-21T18:26:18Z)
• Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
  本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。 われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。 我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-13T15:32:41Z)
• FSC-Net: Fast-Slow Consolidation Networks for Continual Learning [0.0]
  本稿では,段階的知識統合から素早いタスク学習を分離するデュアルネットワークアーキテクチャを提案する。 提案手法では,新しいタスクへの即時適応のための高速ネットワーク(NN1)と,蒸留と再生を通じて知識を集約する低速ネットワーク(NN2)を用いる。 以上の結果から, アーキテクチャ上の複雑さではなく, 二重スケールの凝縮機構が破滅的忘れを緩和する中心となるという実証的証拠が得られた。
  論文  参考訳（メタデータ） (2025-11-12T15:42:33Z)
• Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [73.10669391954801]
  本稿では、Ring-mini-linear-2.0およびRing-flash-linear-2.0を含むRing-linearモデルシリーズについて述べる。 どちらのモデルも線形アテンションとソフトマックスアテンションを効果的に統合するハイブリッドアーキテクチャを採用している。 32億のパラメータ密度モデルと比較して、このシリーズは推論コストを1/10に削減し、元のRingシリーズと比較すると、コストも50%以上削減される。
  論文  参考訳（メタデータ） (2025-10-22T07:59:38Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。