論文の概要: Auxiliary Classifiers Improve Stability and Efficiency in Continual Learning
- arxiv url: http://arxiv.org/abs/2403.07404v2
- Date: Mon, 07 Oct 2024 20:41:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:29:23.973476
- Title: Auxiliary Classifiers Improve Stability and Efficiency in Continual Learning
- Title(参考訳): 補助的分類器による連続学習の安定性と効率化
- Authors: Filip Szatkowski, Fei Yang, Bartłomiej Twardowski, Tomasz Trzciński, Joost van de Weijer,
- Abstract要約: 連続学習における中間的ニューラルネットワーク層の安定性について検討する。
補助分類器(AC)はこの安定性を利用して性能を向上させることができることを示す。
以上の結果から,ACは継続学習モデルの拡張に有望な道筋であることを示唆した。
- 参考スコア(独自算出の注目度): 13.309853617922824
- License:
- Abstract: Continual learning is crucial for applications in dynamic environments, where machine learning models must adapt to changing data distributions while retaining knowledge of previous tasks. Despite significant advancements, catastrophic forgetting - where performance on earlier tasks degrades as new information is learned - remains a key challenge. In this work, we investigate the stability of intermediate neural network layers during continual learning and explore how auxiliary classifiers (ACs) can leverage this stability to improve performance. We show that early network layers remain more stable during learning, particularly for older tasks, and that ACs applied to these layers can outperform standard classifiers on past tasks. By integrating ACs into several continual learning algorithms, we demonstrate consistent and significant performance improvements on standard benchmarks. Additionally, we explore dynamic inference, showing that AC-augmented continual learning methods can reduce computational costs by up to 60\% while maintaining or exceeding the accuracy of standard methods. Our findings suggest that ACs offer a promising avenue for enhancing continual learning models, providing both improved performance and the ability to adapt the network computation in environments where such flexibility might be required.
- Abstract(参考訳): 機械学習モデルは、以前のタスクの知識を維持しながら、データ分散の変化に適応する必要がある。
大幅な進歩にもかかわらず、以前のタスクのパフォーマンスが新しい情報を学ぶにつれて低下する破滅的な忘れ込みは、依然として重要な課題である。
本研究では、連続学習中の中間ニューラルネットワーク層の安定性について検討し、補助分類器(AC)がこの安定性を活用して性能を向上させる方法について検討する。
初期のネットワーク層は、特に古いタスクにおいて、学習中により安定したままであり、これらのレイヤに適用されたACは、過去のタスクにおける標準分類器よりも優れていることを示す。
いくつかの連続学習アルゴリズムにACを組み込むことで,標準ベンチマークにおける一貫した,重要な性能向上を示す。
さらに,我々は,AC強化連続学習手法が標準手法の精度を維持したり超えたりしながら,計算コストを最大60\%削減できることを示す。
以上の結果から,ACは連続学習モデルの拡張に有望な手段を提供し,その柔軟性が要求される環境において,ネットワーク計算に適応する能力と性能を両立させることが示唆された。
関連論文リスト
- Early Detection of Network Service Degradation: An Intra-Flow Approach [0.0]
本研究では,早期のフロー特性を利用して,コンピュータネットワークにおけるサービス劣化(SD)を予測する新しい手法を提案する。
我々のアプローチは、ネットワークフローの観測可能な(O)セグメント、特にパケット間時間(PIAT)の分析に焦点を当てている。
我々は,10個の遅延サンプルの最適O/NO分割閾値を推定し,予測精度と資源利用量のバランスをとる。
論文 参考訳(メタデータ) (2024-07-09T08:05:14Z) - Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。
本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。
事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
論文 参考訳(メタデータ) (2024-04-01T00:21:11Z) - Improving the Accuracy of Early Exits in Multi-Exit Architectures via
Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。
カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。
本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文 参考訳(メタデータ) (2021-04-21T11:12:35Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-02-18T13:49:28Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Dense for the Price of Sparse: Improved Performance of Sparsely
Initialized Networks via a Subspace Offset [0.0]
我々は,0.01%のトレーニング可能なカーネルパラメータが残っている場合でも,情報伝達とトレーニング性を維持する新しいDCT+Sparse層アーキテクチャを導入する。
標準のスパース層からDCTとスパース層への切り替えは、ネットワークのストレージフットプリントを増大させず、小さな計算オーバーヘッドしか発生しません。
論文 参考訳(メタデータ) (2021-02-12T00:05:02Z) - NetCut: Real-Time DNN Inference Using Layer Removal [8.762815575594395]
TRimmed Networks (TRNs) は、転送学習に使用される事前学習ネットワークの問題固有の特徴を取り除くことに基づいている。
経験的あるいは分析的な遅延推定器に基づく方法論であるNetCutは、アプリケーションの期限を満たせるTRNを提案して再トレーニングするのみである。
論文 参考訳(メタデータ) (2021-01-13T22:02:43Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳(メタデータ) (2020-06-22T10:57:43Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。