論文の概要: Self-Regulated Neurogenesis for Online Data-Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.14684v2
• Date: Thu, 26 Jun 2025 11:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.754292
• Title: Self-Regulated Neurogenesis for Online Data-Incremental Learning
• Title（参考訳）: オンラインデータインクリメンタル学習のための自己制御ニューロジェネレーション
• Authors: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Decebal Constantin Mocanu, Joaquin Vanschoren,
• Abstract要約: SERENAは、各概念を「コンセプトセル」と呼ばれる特殊なネットワークパスにエンコードする 概念が学習されると、その対応する概念セルが凍結され、以前に取得した情報の忘れを効果的に防止する。 実験結果から,本手法は10ベンチマークにまたがる新たな最先端結果を確立するだけでなく,オフラインで教師付きバッチ学習性能を著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 9.254419196812233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks often struggle with catastrophic forgetting when learning sequences of tasks or data streams, unlike humans who can continuously learn and consolidate new concepts even in the absence of explicit cues. Online data-incremental learning seeks to emulate this capability by processing each sample only once, without having access to task or stream cues at any point in time since this is more realistic compared to offline setups, where all data from novel class(es) is assumed to be readily available. However, existing methods typically rely on storing the subsets of data in memory or expanding the initial model architecture, resulting in significant computational overhead. Drawing inspiration from 'self-regulated neurogenesis'-brain's mechanism for creating specialized regions or circuits for distinct functions-we propose a novel approach SERENA which encodes each concept in a specialized network path called 'concept cell', integrated into a single over-parameterized network. Once a concept is learned, its corresponding concept cell is frozen, effectively preventing the forgetting of previously acquired information. Furthermore, we introduce two new continual learning scenarios that more closely reflect real-world conditions, characterized by gradually changing sample sizes. Experimental results show that our method not only establishes new state-of-the-art results across ten benchmarks but also remarkably surpasses offline supervised batch learning performance. The code is available at https://github.com/muratonuryildirim/serena.
• Abstract（参考訳）: ニューラルネットワークは、明示的な手がかりがなくても、新しい概念を継続的に学び、統合できる人間とは異なり、タスクやデータストリームのシーケンスを学習するとき、破滅的な忘れに苦慮することが多い。 オンラインデータインクリメンタル学習は、新しいクラス(es)から得られるすべてのデータが容易に利用できると仮定されるオフラインのセットアップよりも現実的であるため、タスクやストリームキューへのアクセスを任意の時点で行わずに、各サンプルを1回だけ処理することで、この機能をエミュレートしようとする。 しかし、既存のメソッドは通常、データのサブセットをメモリに格納するか、初期モデルアーキテクチャを拡張することに依存しており、計算オーバーヘッドが大幅に増加する。 そこで本研究では,各概念を「概念細胞」と呼ばれる特殊なネットワークパスにエンコードし,単一のオーバーパラメータネットワークに統合する,新たなアプローチSERENAを提案する。 概念が学習されると、その対応する概念セルが凍結され、以前に取得した情報の忘れを効果的に防止する。 さらに,実世界の状況をより深く反映した2つの連続学習シナリオを紹介し,サンプルサイズが徐々に変化するのが特徴である。 実験結果から,本手法は10ベンチマークにまたがる新たな最先端結果を確立するだけでなく,オフラインで教師付きバッチ学習性能を著しく上回っていることがわかった。 コードはhttps://github.com/muratonuryildirim/serenaで公開されている。

関連論文リスト

• Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
  本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。 新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。 リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。 本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
  論文  参考訳（メタデータ） (2023-05-24T02:52:30Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• Exemplar-free Online Continual Learning [7.800379384628357]
  連続学習の目的は、各データが学習者によって一度だけ観察されるという条件の下で、逐次利用可能なデータから新しいタスクを学習することである。 近年の成果は、学習したタスクデータの一部を知識再生の例証として保存することで、目覚ましい成果を上げている。 そこで本研究では,NCM(Nest-class-mean-class-mean)分類器を応用した,新しい例のない手法を提案する。
  論文  参考訳（メタデータ） (2022-02-11T08:03:22Z)
• Online Continual Learning Via Candidates Voting [7.704949298975352]
  クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。 提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
  論文  参考訳（メタデータ） (2021-10-17T15:45:32Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。