論文の概要: FOCIL: Finetune-and-Freeze for Online Class Incremental Learning by Training Randomly Pruned Sparse Experts

• arxiv url: http://arxiv.org/abs/2403.14684v1
• Date: Wed, 13 Mar 2024 13:51:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 03:33:23.284906
• Title: FOCIL: Finetune-and-Freeze for Online Class Incremental Learning by Training Randomly Pruned Sparse Experts
• Title（参考訳）: FOCIL: ランダムに訓練されたスパースエキスパートによるオンライン授業インクリメンタルラーニングのためのファインチューン&フリーズ
• Authors: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Decebal Constantin Mocanu, Joaquin Vanschoren,
• Abstract要約: オンライン連続学習環境におけるクラスインクリメンタルラーニング(CIL)は、トレーニングに1回だけのデータポイントを使用して、データストリームから一連の新しいクラスに関する知識を取得しようとしている。 現在のオンラインCILアプローチでは、以前のデータのサブセットを格納しているため、メモリと計算の両方のオーバーヘッドコストとプライバシの問題が発生する。 FOCILと呼ばれる新しいオンラインCILアプローチを提案し、各タスクに対してランダムに切断されたスパースサブネットワークをトレーニングすることにより、メインアーキテクチャを継続的に微調整する。 FOCILはまた、タスク毎のスパーシリティレベルと学習率を適応的に決定し、(ほとんど)ゼロを忘れることを保証する。
• 参考スコア（独自算出の注目度）: 9.254419196812233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class incremental learning (CIL) in an online continual learning setting strives to acquire knowledge on a series of novel classes from a data stream, using each data point only once for training. This is more realistic compared to offline modes, where it is assumed that all data from novel class(es) is readily available. Current online CIL approaches store a subset of the previous data which creates heavy overhead costs in terms of both memory and computation, as well as privacy issues. In this paper, we propose a new online CIL approach called FOCIL. It fine-tunes the main architecture continually by training a randomly pruned sparse subnetwork for each task. Then, it freezes the trained connections to prevent forgetting. FOCIL also determines the sparsity level and learning rate per task adaptively and ensures (almost) zero forgetting across all tasks without storing any replay data. Experimental results on 10-Task CIFAR100, 20-Task CIFAR100, and 100-Task TinyImagenet, demonstrate that our method outperforms the SOTA by a large margin. The code is publicly available at https://github.com/muratonuryildirim/FOCIL.
• Abstract（参考訳）: オンライン連続学習環境におけるクラスインクリメンタルラーニング(CIL)は、トレーニングに1回だけのデータポイントを使用して、データストリームから一連の新しいクラスに関する知識を取得しようとしている。 これはオフラインモードよりも現実的であり、新しいクラス(es)からのすべてのデータが容易に利用できると仮定される。 現在のオンラインCILアプローチでは、以前のデータのサブセットを格納しているため、メモリと計算の両方のオーバーヘッドコストとプライバシの問題が発生する。 本稿では,FOCILと呼ばれる新しいオンラインCIL手法を提案する。 タスクごとにランダムに切断されたスパースサブネットワークをトレーニングすることで、メインアーキテクチャを継続的に微調整する。 そして、トレーニングされた接続を凍結して、忘れることを防ぐ。 FOCILはまた、タスク毎のスパーシリティレベルと学習率を適応的に決定し、リプレイデータを格納することなく、すべてのタスクを(ほぼ)ゼロにすることを保証します。 10-Task CIFAR100, 20-Task CIFAR100, 100-Task TinyImagenetの実験結果から, 提案手法がSOTAよりも大きなマージンで優れていることが示された。 コードはhttps://github.com/muratonuryildirim/FOCILで公開されている。

関連論文リスト

• Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
  本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。 新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。 リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。 本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
  論文  参考訳（メタデータ） (2023-05-24T02:52:30Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• Exemplar-free Online Continual Learning [7.800379384628357]
  連続学習の目的は、各データが学習者によって一度だけ観察されるという条件の下で、逐次利用可能なデータから新しいタスクを学習することである。 近年の成果は、学習したタスクデータの一部を知識再生の例証として保存することで、目覚ましい成果を上げている。 そこで本研究では,NCM(Nest-class-mean-class-mean)分類器を応用した,新しい例のない手法を提案する。
  論文  参考訳（メタデータ） (2022-02-11T08:03:22Z)
• Online Continual Learning Via Candidates Voting [7.704949298975352]
  クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。 提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
  論文  参考訳（メタデータ） (2021-10-17T15:45:32Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。