論文の概要: DualNet: Continual Learning, Fast and Slow

• arxiv url: http://arxiv.org/abs/2110.00175v1
• Date: Fri, 1 Oct 2021 02:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 01:48:23.286990
• Title: DualNet: Continual Learning, Fast and Slow
• Title（参考訳）: DualNet: 継続的な学習,高速,スロー
• Authors: Quang Pham, Chenghao Liu, Steven Hoi
• Abstract要約: 我々は「DualNet」という新しい連続学習フレームワークを提案する。 特定のタスクからパターン分離表現を教師付き学習する高速学習システムと、自己監視学習(SSL)技術を介してタスク非依存の汎用表現を教師なしで表現する緩やかな学習システムとから構成される。 実験の結果、DualNetは最先端の連続学習手法よりも大きなマージンで優れていることがわかった。
• 参考スコア（独自算出の注目度）: 14.902239050081032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: According to Complementary Learning Systems (CLS) theory~\citep{mcclelland1995there} in neuroscience, humans do effective \emph{continual learning} through two complementary systems: a fast learning system centered on the hippocampus for rapid learning of the specifics and individual experiences, and a slow learning system located in the neocortex for the gradual acquisition of structured knowledge about the environment. Motivated by this theory, we propose a novel continual learning framework named "DualNet", which comprises a fast learning system for supervised learning of pattern-separated representation from specific tasks and a slow learning system for unsupervised representation learning of task-agnostic general representation via a Self-Supervised Learning (SSL) technique. The two fast and slow learning systems are complementary and work seamlessly in a holistic continual learning framework. Our extensive experiments on two challenging continual learning benchmarks of CORE50 and miniImageNet show that DualNet outperforms state-of-the-art continual learning methods by a large margin. We further conduct ablation studies of different SSL objectives to validate DualNet's efficacy, robustness, and scalability. Code will be made available upon acceptance.
• Abstract（参考訳）: 神経科学における補足学習システム (cls) の理論 〜\citep{mcclelland1995there} によれば、人間は2つの補足的なシステムを通して効果的な \emph{continual learning} を行う。 この理論により、特定のタスクからパターン分離表現の教師付き学習を行う高速学習システムと、自己監視学習(SSL)技術を用いてタスク非依存の汎用表現の教師なし学習を行う遅い学習システムとからなる、新しい連続学習フレームワーク「DualNet」を提案する。 2つの高速で遅い学習システムは相補的で、総合的な連続学習フレームワークでシームレスに動作します。 CORE50とminiImageNetの2つの挑戦的連続学習ベンチマークに関する広範な実験により、DualNetは最先端の連続学習方法よりも大きなマージンで優れていることが示された。 さらに,デュアルネットの有効性,ロバスト性,スケーラビリティを検証するために,異なるssl目標のアブレーション研究を行う。 コードは受理次第利用可能になる。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Dual Cognitive Architecture: Incorporating Biases and Multi-Memory Systems for Lifelong Learning [21.163070161951868]
  本稿では,複数のサブシステム,暗黙的かつ明示的な知識表現,帰納的バイアス,マルチメモリシステムを含むDual Cognitive Architecture(DUCA)を紹介する。 DUCAはさまざまな設定やデータセットにまたがって改善を示し、余分な情報を必要とせずにタスクの遅延バイアスを低減している。 分散シフトが困難な場合の生涯学習手法の汎用性をさらに検証するため,ドメイン・インクリメンタル・データセットDN4ILを導入する。
  論文  参考訳（メタデータ） (2023-10-17T15:24:02Z)
• A Domain-Agnostic Approach for Characterization of Lifelong Learning Systems [128.63953314853327]
  「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。 この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
  論文  参考訳（メタデータ） (2023-01-18T21:58:54Z)
• Continual Learning, Fast and Slow [75.53144246169346]
  補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。 EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。 我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
  論文  参考訳（メタデータ） (2022-09-06T10:48:45Z)
• Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System [13.041607703862724]
  本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。 決定境界を意味記憶と整合させながら、新たな知識を得る。 提案手法は,標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-29T15:15:23Z)
• Mixture-of-Variational-Experts for Continual Learning [0.0]
  学習と忘れのトレードオフを促進する最適原理を提案する。 我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T06:32:06Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。