論文の概要: Efficient Single-Step Framework for Incremental Class Learning in Neural Networks
- arxiv url: http://arxiv.org/abs/2509.11285v1
- Date: Sun, 14 Sep 2025 14:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:23.012366
- Title: Efficient Single-Step Framework for Incremental Class Learning in Neural Networks
- Title(参考訳): ニューラルネットワークにおけるインクリメンタルクラス学習のための効率的なシングルステップフレームワーク
- Authors: Alejandro Dopico-Castro, Oscar Fontenla-Romero, Bertha Guijarro-Berdiñas, Amparo Alonso-Betanzos,
- Abstract要約: CIFNet(Class Incremental and Frugal Network)は、高効率で持続可能なソリューションを提供することによって制限に対処する新しいCILアプローチである。
予め訓練された凍結された特徴抽出器は、背骨の計算コストの高い微調整を除去する。
ベンチマークデータセットの実験では、CIFNetはそのレベルで破滅的な忘れを効果的に軽減し、既存の最先端手法に匹敵する高い精度を達成することが確認されている。
- 参考スコア(独自算出の注目度): 43.1212452324751
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incremental learning remains a critical challenge in machine learning, as models often struggle with catastrophic forgetting -the tendency to lose previously acquired knowledge when learning new information. These challenges are even more pronounced in resource-limited settings. Many existing Class Incremental Learning (CIL) methods achieve high accuracy by continually adapting their feature representations; however, they often require substantial computational resources and complex, iterative training procedures. This work introduces CIFNet (Class Incremental and Frugal Network), a novel CIL approach that addresses these limitations by offering a highly efficient and sustainable solution. CIFNet's key innovation lies in its novel integration of several existing, yet separately explored, components: a pre-trained and frozen feature extractor, a compressed data buffer, and an efficient non-iterative one-layer neural network for classification. A pre-trained and frozen feature extractor eliminates computationally expensive fine-tuning of the backbone. This, combined with a compressed buffer for efficient memory use, enables CIFNet to perform efficient class-incremental learning through a single-step optimization process on fixed features, minimizing computational overhead and training time without requiring multiple weight updates. Experiments on benchmark datasets confirm that CIFNet effectively mitigates catastrophic forgetting at the classifier level, achieving high accuracy comparable to that of existing state-of-the-art methods, while substantially improving training efficiency and sustainability. CIFNet represents a significant advancement in making class-incremental learning more accessible and pragmatic in environments with limited resources, especially when strong pre-trained feature extractors are available.
- Abstract(参考訳): 増分学習は、機械学習において重要な課題であり、モデルはしばしば破滅的な忘れに苦しむ - 新しい情報を学ぶ際に、以前獲得した知識を失う傾向にある。
これらの課題はリソース制限の設定でさらに顕著になる。
多くの既存のクラスインクリメンタルラーニング(CIL)手法は、特徴表現を継続的に適応させることで高い精度を達成するが、かなりの計算資源と複雑な反復的な訓練手順を必要とすることが多い。
CIFNet(Class Incremental and Frugal Network)は、高効率で持続可能なソリューションを提供することで、これらの制限に対処する新しいCILアプローチである。
CIFNetの重要なイノベーションは、トレーニング済みで凍結された特徴抽出器、圧縮されたデータバッファ、分類のための効率的な非競合的な1層ニューラルネットワークなど、いくつかの既存の別々に検討されたコンポーネントの統合である。
予め訓練された凍結された特徴抽出器は、背骨の計算コストの高い微調整を除去する。
これにより、効率的なメモリ使用のための圧縮バッファと組み合わせることで、CIFNetは、複数の重み更新を必要とせずに、計算オーバーヘッドとトレーニング時間を最小化し、固定された特徴に対する1ステップの最適化プロセスを通じて効率的なクラスインクリメンタル学習を行うことができる。
ベンチマークデータセットの実験では、CIFNetは分類器レベルでの破滅的な忘れを効果的に軽減し、既存の最先端手法に匹敵する精度を達成し、トレーニング効率と持続可能性を大幅に改善することを確認した。
CIFNetは、特に強力な事前学習された特徴抽出器が利用可能である場合に、限られたリソースを持つ環境において、クラスインクリメンタル学習をよりアクセシブルで実用的なものにする大きな進歩を示す。
関連論文リスト
- Forward-Only Continual Learning [8.873948519614244]
破滅的な忘れ物は、継続的な学習における中心的な課題である。
本稿では,フォロ(FoRo)を提案する。
実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
論文 参考訳(メタデータ) (2025-09-01T15:10:38Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳(メタデータ) (2025-07-31T05:34:27Z) - A Good Start Matters: Enhancing Continual Learning with Data-Driven Weight Initialization [15.8696301825572]
連続訓練されたディープニューラルネットワーク(DNN)は、事前の知識を維持し、活用しながら、新しい概念を迅速に学習する必要がある。
新しく遭遇したカテゴリのウェイトは通常ランダムに行われ、初等訓練の損失(スパイク)と不安定性に繋がる。
ニューラル・コラプス(NC)に触発され,CLにおける学習効率向上のための重み付け初期化戦略を提案する。
論文 参考訳(メタデータ) (2025-03-09T01:44:22Z) - Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文 参考訳(メタデータ) (2024-06-13T05:49:29Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Learning in Feedback-driven Recurrent Spiking Neural Networks using
full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。
提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。
本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文 参考訳(メタデータ) (2022-05-26T19:01:19Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳(メタデータ) (2020-06-22T10:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。