論文の概要: Accelerated Inference and Reduced Forgetting: The Dual Benefits of
Early-Exit Networks in Continual Learning
- arxiv url: http://arxiv.org/abs/2403.07404v1
- Date: Tue, 12 Mar 2024 08:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:21:21.784672
- Title: Accelerated Inference and Reduced Forgetting: The Dual Benefits of
Early-Exit Networks in Continual Learning
- Title(参考訳): 推論の高速化と予測の削減--継続学習における早期学習ネットワークの2つのメリット
- Authors: Filip Szatkowski, Fei Yang, Bart{\l}omiej Twardowski, Tomasz
Trzci\'nski, Joost van de Weijer
- Abstract要約: アーリーエグジットネットワークは、ネットワークの早い段階で決定を行うことで、素早く予測できるため、時間とリソースを保存できる。
本研究の目的は,早期のネットワークの継続的な学習を探求することである。
本稿では,このバイアスを等しくし,ネットワーク性能を向上させるシンプルな手法であるタスクワイズログ補正(TLC)を提案する。
- 参考スコア(独自算出の注目度): 29.37826822806214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driven by the demand for energy-efficient employment of deep neural networks,
early-exit methods have experienced a notable increase in research attention.
These strategies allow for swift predictions by making decisions early in the
network, thereby conserving computation time and resources. However, so far the
early-exit networks have only been developed for stationary data distributions,
which restricts their application in real-world scenarios with continuous
non-stationary data. This study aims to explore the continual learning of the
early-exit networks. We adapt existing continual learning methods to fit with
early-exit architectures and investigate their behavior in the continual
setting. We notice that early network layers exhibit reduced forgetting and can
outperform standard networks even when using significantly fewer resources.
Furthermore, we analyze the impact of task-recency bias on early-exit inference
and propose Task-wise Logits Correction (TLC), a simple method that equalizes
this bias and improves the network performance for every given compute budget
in the class-incremental setting. We assess the accuracy and computational cost
of various continual learning techniques enhanced with early-exits and TLC
across standard class-incremental learning benchmarks such as 10 split CIFAR100
and ImageNetSubset and show that TLC can achieve the accuracy of the standard
methods using less than 70\% of their computations. Moreover, at full
computational budget, our method outperforms the accuracy of the standard
counterparts by up to 15 percentage points. Our research underscores the
inherent synergy between early-exit networks and continual learning,
emphasizing their practical utility in resource-constrained environments.
- Abstract(参考訳): ディープニューラルネットワークのエネルギー効率の高い雇用の需要によって、アーリーエクイットの手法は研究の注目度が著しく高まっている。
これらの戦略により、ネットワークの早期に意思決定を行うことで、計算時間とリソースを迅速に予測できる。
しかし、今のところ初期のexitネットワークは、定常データ分散のためにのみ開発されており、継続的な非定常データで実世界のシナリオでアプリケーションを制限する。
本研究の目的は,早期のネットワークの継続的な学習を探求することである。
我々は,既存の連続学習手法を早期のアーキテクチャに適合させるとともに,連続的な環境下での学習行動を調べる。
初期のネットワーク層では,リソースが著しく少ない場合でも,忘れが減り,標準ネットワークよりも優れていた。
さらに,タスク・リカレンシ・バイアスが早期終了推定に与える影響を分析し,このバイアスを等しくするシンプルな手法であるタスク・ワイド・ログ・コレクション(TLC)を提案し,クラス増分設定における各計算予算に対するネットワーク性能を向上させる。
10分割CIFAR100 や ImageNetSubset などの標準クラスインクリメンタルラーニングベンチマークにおいて,早期出力と TLC で強化された各種連続学習手法の精度と計算コストを評価し,TLC が標準手法の精度を 70 % 未満で達成可能であることを示す。
さらに,全計算予算において,本手法は,標準値の精度を最大15ポイント向上させる。
本研究は,資源制約環境におけるネットワークと連続学習の相乗効果を強調し,その実用性を強調した。
関連論文リスト
- Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。
NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。
学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
論文 参考訳(メタデータ) (2022-05-06T02:53:31Z) - Improving the Accuracy of Early Exits in Multi-Exit Architectures via
Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。
カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。
本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文 参考訳(メタデータ) (2021-04-21T11:12:35Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-02-18T13:49:28Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Dense for the Price of Sparse: Improved Performance of Sparsely
Initialized Networks via a Subspace Offset [0.0]
我々は,0.01%のトレーニング可能なカーネルパラメータが残っている場合でも,情報伝達とトレーニング性を維持する新しいDCT+Sparse層アーキテクチャを導入する。
標準のスパース層からDCTとスパース層への切り替えは、ネットワークのストレージフットプリントを増大させず、小さな計算オーバーヘッドしか発生しません。
論文 参考訳(メタデータ) (2021-02-12T00:05:02Z) - NetCut: Real-Time DNN Inference Using Layer Removal [8.762815575594395]
TRimmed Networks (TRNs) は、転送学習に使用される事前学習ネットワークの問題固有の特徴を取り除くことに基づいている。
経験的あるいは分析的な遅延推定器に基づく方法論であるNetCutは、アプリケーションの期限を満たせるTRNを提案して再トレーニングするのみである。
論文 参考訳(メタデータ) (2021-01-13T22:02:43Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳(メタデータ) (2020-06-22T10:57:43Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。