論文の概要: Efficient Expansion and Gradient Based Task Inference for Replay Free
Incremental Learning
- arxiv url: http://arxiv.org/abs/2312.01188v1
- Date: Sat, 2 Dec 2023 17:28:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 18:41:50.708677
- Title: Efficient Expansion and Gradient Based Task Inference for Replay Free
Incremental Learning
- Title（参考訳）: リプレイフリーインクリメンタル学習のための効率的な拡張と勾配に基づくタスク推論
- Authors: Soumya Roy, Vinay K Verma and Deepak Gupta
- Abstract要約: 最近の拡張ベースモデルはタスクインクリメンタルラーニング(TIL)に有望な結果を示している
クラスインクリメンタルラーニング(CIL)では、タスクIDの予測が重要な課題である。
擬似ラベルを用いたエントロピー重み付きデータ拡張とモデル勾配を利用する頑健なタスク予測手法を提案する。
- 参考スコア（独自算出の注目度）: 5.760774528950479
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a simple but highly efficient expansion-based model for
continual learning. The recent feature transformation, masking and
factorization-based methods are efficient, but they grow the model only over
the global or shared parameter. Therefore, these approaches do not fully
utilize the previously learned information because the same task-specific
parameter forgets the earlier knowledge. Thus, these approaches show limited
transfer learning ability. Moreover, most of these models have constant
parameter growth for all tasks, irrespective of the task complexity. Our work
proposes a simple filter and channel expansion based method that grows the
model over the previous task parameters and not just over the global parameter.
Therefore, it fully utilizes all the previously learned information without
forgetting, which results in better knowledge transfer. The growth rate in our
proposed model is a function of task complexity; therefore for a simple task,
the model has a smaller parameter growth while for complex tasks, the model
requires more parameters to adapt to the current task. Recent expansion based
models show promising results for task incremental learning (TIL). However, for
class incremental learning (CIL), prediction of task id is a crucial challenge;
hence, their results degrade rapidly as the number of tasks increase. In this
work, we propose a robust task prediction method that leverages entropy
weighted data augmentations and the models gradient using pseudo labels. We
evaluate our model on various datasets and architectures in the TIL, CIL and
generative continual learning settings. The proposed approach shows
state-of-the-art results in all these settings. Our extensive ablation studies
show the efficacy of the proposed components.
- Abstract（参考訳）: 本稿では,連続学習のための簡易かつ高効率な拡張ベースモデルを提案する。
最近の機能変換、マスキング、ファクタライゼーションベースのメソッドは効率的だが、グローバルパラメータや共有パラメータを越えてのみモデルを成長させる。
したがって、これらのアプローチは、同じタスク固有のパラメータが以前の知識を忘れるため、事前に学習した情報を十分に活用しない。
したがって,これらの手法は伝達学習能力の限界を示す。
さらに、これらのモデルのほとんどは、タスクの複雑さに関係なく、全てのタスクに対して一定のパラメータ成長を持つ。
本研究は,グローバルパラメータに留まらず,前のタスクパラメータよりもモデルを拡大する,単純なフィルタとチャネル拡張に基づく手法を提案する。
そのため,従来の学習情報をすべて忘れることなく完全に活用し,知識伝達が向上する。
提案モデルでは,タスクの複雑性の関数であるので,単純なタスクでは,複雑なタスクでは,現在のタスクに適応するためにより多くのパラメータを必要とするが,パラメータの増大は小さい。
最近の拡張ベースモデルはタスクインクリメンタルラーニング(TIL)に有望な結果を示している。
しかし、クラスインクリメンタルラーニング(CIL)では、タスクIDの予測が重要な課題であり、タスク数が増加するにつれて結果が急速に低下する。
本研究では,エントロピー重み付きデータ拡張と擬似ラベルを用いたモデル勾配を利用した頑健なタスク予測手法を提案する。
我々は、TIL、CIL、生成連続学習設定における様々なデータセットとアーキテクチャに基づいてモデルを評価する。
提案手法は,これらすべての設定における最先端の結果を示す。
広範なアブレーション研究により,提案成分の有効性が示された。
関連論文リスト
- Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token [0.6144680854063939]
ディープラーニングモデルは、新しいデータを継続的に学習する際に破滅的な忘れを見せる。
本稿では,従来のデータを保存することなく,過去の知識を保存できる新しい手法を提案する。
この方法は視覚変換器のアーキテクチャにインスパイアされ、各タスクの圧縮された知識をカプセル化できるユニークなトークンを使用する。
論文 参考訳（メタデータ） (2024-11-06T16:13:50Z) - TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning [42.630413950957795]
本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。
TaEは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-08T16:37:04Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - Lifelong Learning Without a Task Oracle [13.331659934508764]
監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。
本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。
最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
論文 参考訳（メタデータ） (2020-11-09T21:30:31Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z) - Lifelong Learning with Searchable Extension Units [21.17631355880764]
本稿では,検索可能拡張ユニット(SEU)という生涯学習フレームワークを提案する。
これは、事前に定義されたオリジナルのモデルの必要性を断ち切り、異なるタスクのための特定の拡張ユニットを検索する。
我々のアプローチは、破滅的な忘れることなく、はるかにコンパクトなモデルを得ることができる。
論文 参考訳（メタデータ） (2020-03-19T03:45:51Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。