論文の概要: Accelerated Inference and Reduced Forgetting: The Dual Benefits of
Early-Exit Networks in Continual Learning
- arxiv url: http://arxiv.org/abs/2403.07404v1
- Date: Tue, 12 Mar 2024 08:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:21:21.784672
- Title: Accelerated Inference and Reduced Forgetting: The Dual Benefits of
Early-Exit Networks in Continual Learning
- Title（参考訳）: 推論の高速化と予測の削減--継続学習における早期学習ネットワークの2つのメリット
- Authors: Filip Szatkowski, Fei Yang, Bart{\l}omiej Twardowski, Tomasz
Trzci\'nski, Joost van de Weijer
- Abstract要約: アーリーエグジットネットワークは、ネットワークの早い段階で決定を行うことで、素早く予測できるため、時間とリソースを保存できる。
本研究の目的は,早期のネットワークの継続的な学習を探求することである。
本稿では,このバイアスを等しくし,ネットワーク性能を向上させるシンプルな手法であるタスクワイズログ補正(TLC)を提案する。
- 参考スコア（独自算出の注目度）: 29.37826822806214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driven by the demand for energy-efficient employment of deep neural networks,
early-exit methods have experienced a notable increase in research attention.
These strategies allow for swift predictions by making decisions early in the
network, thereby conserving computation time and resources. However, so far the
early-exit networks have only been developed for stationary data distributions,
which restricts their application in real-world scenarios with continuous
non-stationary data. This study aims to explore the continual learning of the
early-exit networks. We adapt existing continual learning methods to fit with
early-exit architectures and investigate their behavior in the continual
setting. We notice that early network layers exhibit reduced forgetting and can
outperform standard networks even when using significantly fewer resources.
Furthermore, we analyze the impact of task-recency bias on early-exit inference
and propose Task-wise Logits Correction (TLC), a simple method that equalizes
this bias and improves the network performance for every given compute budget
in the class-incremental setting. We assess the accuracy and computational cost
of various continual learning techniques enhanced with early-exits and TLC
across standard class-incremental learning benchmarks such as 10 split CIFAR100
and ImageNetSubset and show that TLC can achieve the accuracy of the standard
methods using less than 70\% of their computations. Moreover, at full
computational budget, our method outperforms the accuracy of the standard
counterparts by up to 15 percentage points. Our research underscores the
inherent synergy between early-exit networks and continual learning,
emphasizing their practical utility in resource-constrained environments.
- Abstract（参考訳）: ディープニューラルネットワークのエネルギー効率の高い雇用の需要によって、アーリーエクイットの手法は研究の注目度が著しく高まっている。
これらの戦略により、ネットワークの早期に意思決定を行うことで、計算時間とリソースを迅速に予測できる。
しかし、今のところ初期のexitネットワークは、定常データ分散のためにのみ開発されており、継続的な非定常データで実世界のシナリオでアプリケーションを制限する。
本研究の目的は,早期のネットワークの継続的な学習を探求することである。
我々は,既存の連続学習手法を早期のアーキテクチャに適合させるとともに,連続的な環境下での学習行動を調べる。
初期のネットワーク層では,リソースが著しく少ない場合でも,忘れが減り,標準ネットワークよりも優れていた。
さらに,タスク・リカレンシ・バイアスが早期終了推定に与える影響を分析し,このバイアスを等しくするシンプルな手法であるタスク・ワイド・ログ・コレクション(TLC)を提案し,クラス増分設定における各計算予算に対するネットワーク性能を向上させる。
10分割CIFAR100 や ImageNetSubset などの標準クラスインクリメンタルラーニングベンチマークにおいて,早期出力と TLC で強化された各種連続学習手法の精度と計算コストを評価し,TLC が標準手法の精度を 70 % 未満で達成可能であることを示す。
さらに,全計算予算において,本手法は,標準値の精度を最大15ポイント向上させる。
本研究は,資源制約環境におけるネットワークと連続学習の相乗効果を強調し,その実用性を強調した。
関連論文リスト
- Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。
実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文 参考訳（メタデータ） (2024-11-18T08:20:21Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。
正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。
そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T20:58:01Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-06-05T15:11:59Z) - Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks
in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。
ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。
より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文 参考訳（メタデータ） (2023-03-16T17:00:42Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-16T11:52:00Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。