論文の概要: Bio-Inspired, Task-Free Continual Learning through Activity Regularization

• arxiv url: http://arxiv.org/abs/2212.04316v1
• Date: Thu, 8 Dec 2022 15:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 14:39:57.165498
• Title: Bio-Inspired, Task-Free Continual Learning through Activity Regularization
• Title（参考訳）: バイオインスパイアされたタスクフリー連続学習
• Authors: Francesco L\"assig, Pau Vilimelis Aceituno, Martino Sorbaro, Benjamin F. Grewe
• Abstract要約: 継続的学習アプローチは通常、個別のタスク境界を必要とする。 我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。 空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。 本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
• 参考スコア（独自算出の注目度）: 3.5502600490147196
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The ability to sequentially learn multiple tasks without forgetting is a key skill of biological brains, whereas it represents a major challenge to the field of deep learning. To avoid catastrophic forgetting, various continual learning (CL) approaches have been devised. However, these usually require discrete task boundaries. This requirement seems biologically implausible and often limits the application of CL methods in the real world where tasks are not always well defined. Here, we take inspiration from neuroscience, where sparse, non-overlapping neuronal representations have been suggested to prevent catastrophic forgetting. As in the brain, we argue that these sparse representations should be chosen on the basis of feed forward (stimulus-specific) as well as top-down (context-specific) information. To implement such selective sparsity, we use a bio-plausible form of hierarchical credit assignment known as Deep Feedback Control (DFC) and combine it with a winner-take-all sparsity mechanism. In addition to sparsity, we introduce lateral recurrent connections within each layer to further protect previously learned representations. We evaluate the new sparse-recurrent version of DFC on the split-MNIST computer vision benchmark and show that only the combination of sparsity and intra-layer recurrent connections improves CL performance with respect to standard backpropagation. Our method achieves similar performance to well-known CL methods, such as Elastic Weight Consolidation and Synaptic Intelligence, without requiring information about task boundaries. Overall, we showcase the idea of adopting computational principles from the brain to derive new, task-free learning algorithms for CL.
• Abstract（参考訳）: 忘れずに複数のタスクをシーケンシャルに学習する能力は、生物学的脳の重要なスキルである一方、ディープラーニングの分野における大きな課題である。 破滅的な忘れ物を避けるために、様々な連続学習(CL)アプローチが考案されている。 しかし、これらは通常離散的なタスク境界を必要とする。 この要件は生物学的には理解できないようで、タスクが必ずしも適切に定義されていない現実世界でのCLメソッドの適用を制限することが多い。 ここでは、破滅的な忘れ込みを防ぐために、スパースで重複しない神経表現が提案されている神経科学のインスピレーションを受けます。 脳と同様に、これらのスパース表現はフィードフォワード(刺激特異的)とトップダウン(コンテキスト固有)情報に基づいて選択されるべきであると主張する。 このような選択的なスパーシリティを実現するために,Deep Feedback Control (DFC) と呼ばれる階層的信用代入方式を用いて,入賞者全員のスペーシリティメカニズムと組み合わせる。 スパーシティに加えて,各層に再帰的な側方接続を導入することで,従来学習した表現をさらに保護する。 分割型MNISTコンピュータビジョンベンチマークにおいて,DFCの新しいスパースリカレントバージョンを評価し,空間幅と層内リカレント接続の組み合わせだけで標準バックプロパゲーションに対するCL性能が向上することを示す。 本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。 全体として、計算原理を脳から導入し、CLのための新しいタスクフリー学習アルゴリズムを導出するアイデアを提示する。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Automating Continual Learning [42.710124929514066]
  汎用学習システムは、常に変化する環境において、オープンエンドで自己改善するべきである。 本稿では,自己参照型ニューラルネットワークのメタ学習のための自動連続学習(ACL)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T01:25:04Z)
• MultIOD: Rehearsal-free Multihead Incremental Object Detector [17.236182938227163]
  本研究では,CenterNetに基づくクラスインクリメンタルオブジェクト検出器であるMultIODを提案する。 われわれは,まず学習したクラスと漸進的に学習したクラスの間で伝達学習を採用し,破滅的な忘れに対処した。 その結果,本手法は2つのPascal VOCデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-09-11T09:32:45Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Stacked unsupervised learning with a network architecture found by supervised meta-learning [4.209801809583906]
  階層化された教師なし学習は、バックプロパゲーションよりも生物学的に妥当に思える。 しかし、SULは実践的な応用においてバックプロパゲーションには程遠い。 MNIST桁の完全教師なしクラスタリングが可能なSULアルゴリズムを示す。
  論文  参考訳（メタデータ） (2022-06-06T16:17:20Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。