論文の概要: FOCIL: Finetune-and-Freeze for Online Class Incremental Learning by Training Randomly Pruned Sparse Experts

• arxiv url: http://arxiv.org/abs/2403.14684v1
• Date: Wed, 13 Mar 2024 13:51:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-01 03:33:23.284906
• Title: FOCIL: Finetune-and-Freeze for Online Class Incremental Learning by Training Randomly Pruned Sparse Experts
• Title（参考訳）: FOCIL: ランダムに訓練されたスパースエキスパートによるオンライン授業インクリメンタルラーニングのためのファインチューン&フリーズ
• Authors: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Decebal Constantin Mocanu, Joaquin Vanschoren,
• Abstract要約: オンライン連続学習環境におけるクラスインクリメンタルラーニング(CIL)は、トレーニングに1回だけのデータポイントを使用して、データストリームから一連の新しいクラスに関する知識を取得しようとしている。 現在のオンラインCILアプローチでは、以前のデータのサブセットを格納しているため、メモリと計算の両方のオーバーヘッドコストとプライバシの問題が発生する。 FOCILと呼ばれる新しいオンラインCILアプローチを提案し、各タスクに対してランダムに切断されたスパースサブネットワークをトレーニングすることにより、メインアーキテクチャを継続的に微調整する。 FOCILはまた、タスク毎のスパーシリティレベルと学習率を適応的に決定し、(ほとんど)ゼロを忘れることを保証する。
• 参考スコア（独自算出の注目度）: 9.254419196812233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class incremental learning (CIL) in an online continual learning setting strives to acquire knowledge on a series of novel classes from a data stream, using each data point only once for training. This is more realistic compared to offline modes, where it is assumed that all data from novel class(es) is readily available. Current online CIL approaches store a subset of the previous data which creates heavy overhead costs in terms of both memory and computation, as well as privacy issues. In this paper, we propose a new online CIL approach called FOCIL. It fine-tunes the main architecture continually by training a randomly pruned sparse subnetwork for each task. Then, it freezes the trained connections to prevent forgetting. FOCIL also determines the sparsity level and learning rate per task adaptively and ensures (almost) zero forgetting across all tasks without storing any replay data. Experimental results on 10-Task CIFAR100, 20-Task CIFAR100, and 100-Task TinyImagenet, demonstrate that our method outperforms the SOTA by a large margin. The code is publicly available at https://github.com/muratonuryildirim/FOCIL.
• Abstract（参考訳）: オンライン連続学習環境におけるクラスインクリメンタルラーニング(CIL)は、トレーニングに1回だけのデータポイントを使用して、データストリームから一連の新しいクラスに関する知識を取得しようとしている。 これはオフラインモードよりも現実的であり、新しいクラス(es)からのすべてのデータが容易に利用できると仮定される。 現在のオンラインCILアプローチでは、以前のデータのサブセットを格納しているため、メモリと計算の両方のオーバーヘッドコストとプライバシの問題が発生する。 本稿では,FOCILと呼ばれる新しいオンラインCIL手法を提案する。 タスクごとにランダムに切断されたスパースサブネットワークをトレーニングすることで、メインアーキテクチャを継続的に微調整する。 そして、トレーニングされた接続を凍結して、忘れることを防ぐ。 FOCILはまた、タスク毎のスパーシリティレベルと学習率を適応的に決定し、リプレイデータを格納することなく、すべてのタスクを(ほぼ)ゼロにすることを保証します。 10-Task CIFAR100, 20-Task CIFAR100, 100-Task TinyImagenetの実験結果から, 提案手法がSOTAよりも大きなマージンで優れていることが示された。 コードはhttps://github.com/muratonuryildirim/FOCILで公開されている。

関連論文リスト

• Towards Better De-raining Generalization via Rainy Characteristics Memorization and Replay [74.54047495424618]
  現在の画像のデライニング方法は、主に限られたデータセットから学習する。 ネットワークが段階的にデライニングの知識基盤を拡大することを可能にする新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-06-03T05:50:00Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
  本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。 新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。 リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。 本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
  論文  参考訳（メタデータ） (2023-05-24T02:52:30Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• Exemplar-free Online Continual Learning [7.800379384628357]
  連続学習の目的は、各データが学習者によって一度だけ観察されるという条件の下で、逐次利用可能なデータから新しいタスクを学習することである。 近年の成果は、学習したタスクデータの一部を知識再生の例証として保存することで、目覚ましい成果を上げている。 そこで本研究では,NCM(Nest-class-mean-class-mean)分類器を応用した,新しい例のない手法を提案する。
  論文  参考訳（メタデータ） (2022-02-11T08:03:22Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• A Meta-Learned Neuron model for Continual Learning [0.0]
  継続的な学習は、以前に学んだ知識を忘れずに新しい知識を得る能力である。 本研究では、標準的なニューロンをメタ学習ニューロンモデルで置き換える。 提案手法は,トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。
  論文  参考訳（メタデータ） (2021-11-03T23:39:14Z)
• Online Continual Learning Via Candidates Voting [7.704949298975352]
  クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。 提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
  論文  参考訳（メタデータ） (2021-10-17T15:45:32Z)
• Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
  分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。 本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:46:28Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。