論文の概要: Continual Learning, Fast and Slow
- arxiv url: http://arxiv.org/abs/2209.02370v3
- Date: Sun, 9 Jul 2023 10:02:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 19:25:52.191978
- Title: Continual Learning, Fast and Slow
- Title（参考訳）: 継続的な学習、速く、ゆっくり
- Authors: Quang Pham, Chenghao Liu, Steven C. H. Hoi
- Abstract要約: 補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。
EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。
我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
- 参考スコア（独自算出の注目度）: 75.53144246169346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: According to the Complementary Learning Systems (CLS)
theory~\cite{mcclelland1995there} in neuroscience, humans do effective
\emph{continual learning} through two complementary systems: a fast learning
system centered on the hippocampus for rapid learning of the specifics,
individual experiences; and a slow learning system located in the neocortex for
the gradual acquisition of structured knowledge about the environment.
Motivated by this theory, we propose \emph{DualNets} (for Dual Networks), a
general continual learning framework comprising a fast learning system for
supervised learning of pattern-separated representation from specific tasks and
a slow learning system for representation learning of task-agnostic general
representation via Self-Supervised Learning (SSL). DualNets can seamlessly
incorporate both representation types into a holistic framework to facilitate
better continual learning in deep neural networks. Via extensive experiments,
we demonstrate the promising results of DualNets on a wide range of continual
learning protocols, ranging from the standard offline, task-aware setting to
the challenging online, task-free scenario. Notably, on the
CTrL~\cite{veniat2020efficient} benchmark that has unrelated tasks with vastly
different visual images, DualNets can achieve competitive performance with
existing state-of-the-art dynamic architecture
strategies~\cite{ostapenko2021continual}. Furthermore, we conduct comprehensive
ablation studies to validate DualNets efficacy, robustness, and scalability.
Code will be made available at \url{https://github.com/phquang/DualNet}.
- Abstract（参考訳）: 神経科学における補足学習システム(cls)理論~\cite{mcclelland1995there} によれば、人間は2つの補足的なシステムを通して効果的な \emph{continual learning} を行う。
この理論によって動機づけられた「emph{DualNets}」(デュアルネットワークのための)は、特定のタスクからパターン分離表現を指導する高速学習システムと、自己監視学習(SSL)を介してタスク非依存の汎用表現を学習する遅い学習システムからなる一般的な連続学習フレームワークである。
DualNetsは、両方の表現型を総合的なフレームワークにシームレスに組み込んで、ディープニューラルネットワークの継続的な学習を容易にする。
幅広い実験を通じて,オフライン環境からタスク対応環境,オンライン・タスクフリーシナリオまで幅広い学習プロトコルにおいて,デュアルネットの有望な結果を示す。
特に、CTrL~\cite{veniat2020efficient}ベンチマークでは、非常に異なる視覚イメージと無関係なタスクを持つため、DualNetsは既存の最先端の動的アーキテクチャ戦略~\cite{ostapenko2021continual}と競合する性能を達成できる。
さらに,デュアルネットの有効性,ロバスト性,拡張性を検証するため,包括的なアブレーション研究を行う。
コードは \url{https://github.com/phquang/dualnet}で入手できる。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
本稿では,対話型連続学習フレームワークを提案する。
System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。
提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-05T03:37:28Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - Dual Cognitive Architecture: Incorporating Biases and Multi-Memory
Systems for Lifelong Learning [21.163070161951868]
本稿では,複数のサブシステム,暗黙的かつ明示的な知識表現,帰納的バイアス,マルチメモリシステムを含むDual Cognitive Architecture(DUCA)を紹介する。
DUCAはさまざまな設定やデータセットにまたがって改善を示し、余分な情報を必要とせずにタスクの遅延バイアスを低減している。
分散シフトが困難な場合の生涯学習手法の汎用性をさらに検証するため,ドメイン・インクリメンタル・データセットDN4ILを導入する。
論文 参考訳（メタデータ） (2023-10-17T15:24:02Z) - Artificial-Spiking Hierarchical Networks for Vision-Language
Representation Learning [16.902924543372713]
最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。
本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。
実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-18T10:40:25Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Avoiding Catastrophe: Active Dendrites Enable Multi-Task Learning in
Dynamic Environments [0.5277756703318046]
AIの鍵となる課題は、動的に変化する環境で動作する組み込みシステムを構築することだ。
標準的なディープラーニングシステムは、しばしば動的なシナリオで苦労する。
本稿では生物学的にインスパイアされたアーキテクチャをソリューションとして検討する。
論文 参考訳（メタデータ） (2021-12-31T19:52:42Z) - DualNet: Continual Learning, Fast and Slow [14.902239050081032]
我々は「DualNet」という新しい連続学習フレームワークを提案する。
特定のタスクからパターン分離表現を教師付き学習する高速学習システムと、自己監視学習(SSL)技術を介してタスク非依存の汎用表現を教師なしで表現する緩やかな学習システムとから構成される。
実験の結果、DualNetは最先端の連続学習手法よりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2021-10-01T02:31:59Z) - Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。
本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
論文 参考訳（メタデータ） (2020-07-24T08:16:37Z) - Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。
数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。
実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
論文 参考訳（メタデータ） (2020-06-17T11:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。