論文の概要: Self-Regulated Neurogenesis for Online Data-Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.14684v2
• Date: Thu, 26 Jun 2025 11:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.754292
• Title: Self-Regulated Neurogenesis for Online Data-Incremental Learning
• Title（参考訳）: オンラインデータインクリメンタル学習のための自己制御ニューロジェネレーション
• Authors: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Decebal Constantin Mocanu, Joaquin Vanschoren,
• Abstract要約: SERENAは、各概念を「コンセプトセル」と呼ばれる特殊なネットワークパスにエンコードする 概念が学習されると、その対応する概念セルが凍結され、以前に取得した情報の忘れを効果的に防止する。 実験結果から,本手法は10ベンチマークにまたがる新たな最先端結果を確立するだけでなく,オフラインで教師付きバッチ学習性能を著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 9.254419196812233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks often struggle with catastrophic forgetting when learning sequences of tasks or data streams, unlike humans who can continuously learn and consolidate new concepts even in the absence of explicit cues. Online data-incremental learning seeks to emulate this capability by processing each sample only once, without having access to task or stream cues at any point in time since this is more realistic compared to offline setups, where all data from novel class(es) is assumed to be readily available. However, existing methods typically rely on storing the subsets of data in memory or expanding the initial model architecture, resulting in significant computational overhead. Drawing inspiration from 'self-regulated neurogenesis'-brain's mechanism for creating specialized regions or circuits for distinct functions-we propose a novel approach SERENA which encodes each concept in a specialized network path called 'concept cell', integrated into a single over-parameterized network. Once a concept is learned, its corresponding concept cell is frozen, effectively preventing the forgetting of previously acquired information. Furthermore, we introduce two new continual learning scenarios that more closely reflect real-world conditions, characterized by gradually changing sample sizes. Experimental results show that our method not only establishes new state-of-the-art results across ten benchmarks but also remarkably surpasses offline supervised batch learning performance. The code is available at https://github.com/muratonuryildirim/serena.
• Abstract（参考訳）: ニューラルネットワークは、明示的な手がかりがなくても、新しい概念を継続的に学び、統合できる人間とは異なり、タスクやデータストリームのシーケンスを学習するとき、破滅的な忘れに苦慮することが多い。 オンラインデータインクリメンタル学習は、新しいクラス(es)から得られるすべてのデータが容易に利用できると仮定されるオフラインのセットアップよりも現実的であるため、タスクやストリームキューへのアクセスを任意の時点で行わずに、各サンプルを1回だけ処理することで、この機能をエミュレートしようとする。 しかし、既存のメソッドは通常、データのサブセットをメモリに格納するか、初期モデルアーキテクチャを拡張することに依存しており、計算オーバーヘッドが大幅に増加する。 そこで本研究では,各概念を「概念細胞」と呼ばれる特殊なネットワークパスにエンコードし,単一のオーバーパラメータネットワークに統合する,新たなアプローチSERENAを提案する。 概念が学習されると、その対応する概念セルが凍結され、以前に取得した情報の忘れを効果的に防止する。 さらに,実世界の状況をより深く反映した2つの連続学習シナリオを紹介し,サンプルサイズが徐々に変化するのが特徴である。 実験結果から,本手法は10ベンチマークにまたがる新たな最先端結果を確立するだけでなく,オフラインで教師付きバッチ学習性能を著しく上回っていることがわかった。 コードはhttps://github.com/muratonuryildirim/serenaで公開されている。

関連論文リスト

• Towards Better De-raining Generalization via Rainy Characteristics Memorization and Replay [74.54047495424618]
  現在の画像のデライニング方法は、主に限られたデータセットから学習する。 ネットワークが段階的にデライニングの知識基盤を拡大することを可能にする新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-06-03T05:50:00Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
  本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。 新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。 リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。 本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
  論文  参考訳（メタデータ） (2023-05-24T02:52:30Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• Exemplar-free Online Continual Learning [7.800379384628357]
  連続学習の目的は、各データが学習者によって一度だけ観察されるという条件の下で、逐次利用可能なデータから新しいタスクを学習することである。 近年の成果は、学習したタスクデータの一部を知識再生の例証として保存することで、目覚ましい成果を上げている。 そこで本研究では,NCM(Nest-class-mean-class-mean)分類器を応用した,新しい例のない手法を提案する。
  論文  参考訳（メタデータ） (2022-02-11T08:03:22Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• A Meta-Learned Neuron model for Continual Learning [0.0]
  継続的な学習は、以前に学んだ知識を忘れずに新しい知識を得る能力である。 本研究では、標準的なニューロンをメタ学習ニューロンモデルで置き換える。 提案手法は,トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。
  論文  参考訳（メタデータ） (2021-11-03T23:39:14Z)
• Online Continual Learning Via Candidates Voting [7.704949298975352]
  クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。 提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
  論文  参考訳（メタデータ） (2021-10-17T15:45:32Z)
• Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
  分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。 本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:46:28Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。