論文の概要: Disentangled Continual Learning: Separating Memory Edits from Model Updates

• arxiv url: http://arxiv.org/abs/2312.16731v1
• Date: Wed, 27 Dec 2023 22:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 18:00:22.586646
• Title: Disentangled Continual Learning: Separating Memory Edits from Model Updates
• Title（参考訳）: Disentangled Continual Learning: モデル更新からメモリ編集を分離する
• Authors: Sebastian Dziadzio, \c{C}a\u{g}atay Y{\i}ld{\i}z, Gido M. van de Ven, Tomasz Trzci\'nski, Tinne Tuytelaars, Matthias Bethge
• Abstract要約: 本稿では,一般化をカプセル化するクラス非依存の知識から記憶すべきクラス固有情報を解き放つことを目的とした,連続的な分類に対する新しい概念的アプローチを提案する。 クラス非依存ネットワークは破滅的な忘れ込みに苦しめられず,それを利用して分類を行うことで,過去のタスクの時間経過とともに精度が向上することを示す。
• 参考スコア（独自算出の注目度）: 48.765079793320346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of machine learning systems to learn continually is hindered by catastrophic forgetting, the tendency of neural networks to overwrite existing knowledge when learning a new task. Existing continual learning methods alleviate this problem through regularisation, parameter isolation, or rehearsal, and are typically evaluated on benchmarks consisting of a handful of tasks. We propose a novel conceptual approach to continual classification that aims to disentangle class-specific information that needs to be memorised from the class-agnostic knowledge that encapsulates generalization. We store the former in a buffer that can be easily pruned or updated when new categories arrive, while the latter is represented with a neural network that generalizes across tasks. We show that the class-agnostic network does not suffer from catastrophic forgetting and by leveraging it to perform classification, we improve accuracy on past tasks over time. In addition, our approach supports open-set classification and one-shot generalization. To test our conceptual framework, we introduce Infinite dSprites, a tool for creating continual classification and disentanglement benchmarks of arbitrary length with full control over generative factors. We show that over a sufficiently long time horizon all major types of continual learning methods break down, while our approach enables continual learning over hundreds of tasks with explicit control over memorization and forgetting.
• Abstract（参考訳）: 機械学習システムの継続的に学習する能力は、新しいタスクを学ぶ際に既存の知識を上書きするニューラルネットワークの傾向である壊滅的な忘れによって妨げられる。 既存の連続学習法は正規化、パラメータ分離、リハーサルを通じてこの問題を緩和し、通常は少数のタスクからなるベンチマークで評価される。 一般化をカプセル化するクラス非依存の知識から記憶すべきクラス固有情報を解き放つことを目的とした,連続的な分類に対する新しい概念的アプローチを提案する。 前者をバッファに格納し、新しいカテゴリが現れると簡単に刈り取ったり更新したりできますが、後者はタスクをまたいで一般化するニューラルネットワークで表現されます。 クラス非依存のネットワークは壊滅的な記憶に苦しめられず,それを利用して分類を行うことで,過去のタスクの精度を時間とともに向上できることを示す。 さらに,オープンセット分類とワンショット一般化もサポートする。 Infinite dSpritesは、連続的な分類と任意の長さのアンタングルメントベンチマークを作成するためのツールであり、生成因子を完全に制御する。 本手法では,記憶や忘れを明示的に制御しながら,数百以上のタスクを連続的に学習することを可能にする。

関連論文リスト

• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System [13.041607703862724]
  本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。 決定境界を意味記憶と整合させながら、新たな知識を得る。 提案手法は,標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-29T15:15:23Z)
• Continually Learning Self-Supervised Representations with Projected Functional Regularization [39.92600544186844]
  近年の自己教師あり学習手法は高品質な画像表現を学習でき、教師ありの手法でギャップを埋めている。 これらの手法は、新たな知識を段階的に取得することができない -- 実際、主にIDデータによる事前学習フェーズとしてのみ使用される。 従来の知識を忘れないように,機能正規化の利用を提案する。
  論文  参考訳（メタデータ） (2021-12-30T11:59:23Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。