論文の概要: Class-Incremental Continual Learning into the eXtended DER-verse

• arxiv url: http://arxiv.org/abs/2201.00766v1
• Date: Mon, 3 Jan 2022 17:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 13:32:38.672439
• Title: Class-Incremental Continual Learning into the eXtended DER-verse
• Title（参考訳）: eXtended DER-verseにおけるクラスインクリメンタル連続学習
• Authors: Matteo Boschini, Lorenzo Bonicelli, Pietro Buzzega, Angelo Porrello, Simone Calderara
• Abstract要約: この研究は、我々の以前の提案であるDark Experience Replay(DER)の落とし穴を評価し、克服することを目的としています。 過去の記憶を常に書き直し、将来への期待を設定する方法に刺激されて、過去のデータに関する新しい情報を歓迎するために、リプレイ記憶を改訂する能力を備えたモデルを作りました。 これらの戦略の適用により、顕著な改善がもたらされることを示す。
• 参考スコア（独自算出の注目度）: 17.90483695137098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The staple of human intelligence is the capability of acquiring knowledge in a continuous fashion. In stark contrast, Deep Networks forget catastrophically and, for this reason, the sub-field of Class-Incremental Continual Learning fosters methods that learn a sequence of tasks incrementally, blending sequentially-gained knowledge into a comprehensive prediction. This work aims at assessing and overcoming the pitfalls of our previous proposal Dark Experience Replay (DER), a simple and effective approach that combines rehearsal and Knowledge Distillation. Inspired by the way our minds constantly rewrite past recollections and set expectations for the future, we endow our model with the abilities to i) revise its replay memory to welcome novel information regarding past data ii) pave the way for learning yet unseen classes. We show that the application of these strategies leads to remarkable improvements; indeed, the resulting method - termed eXtended-DER (X-DER) - outperforms the state of the art on both standard benchmarks (such as CIFAR-100 and miniImagenet) and a novel one here introduced. To gain a better understanding, we further provide extensive ablation studies that corroborate and extend the findings of our previous research (e.g. the value of Knowledge Distillation and flatter minima in continual learning setups).
• Abstract（参考訳）: 人間の知性の根幹は、継続的な方法で知識を得る能力である。 対照的に、ディープネットワークは破滅的に忘れ、そのため、クラスインクリメンタルな継続的学習のサブフィールドは、段階的にタスクのシーケンスを学習する手法を育み、シーケンシャルに収集された知識を総合的な予測にブレンドする。 本研究は,リハーサルと知識蒸留を組み合わせた単純かつ効果的なアプローチである,これまでの提案であるdark experience replay(der)の落とし穴を評価,克服することを目的とする。 過去の振り返りを絶えず書き直し、将来への期待を設定する方法に触発されて、私たちはモデルに能力を与えました。 一 過去のデータに関する新情報を歓迎するリプレイメモリの改訂 二 未学習の授業の道を開くこと。 実際、eXtended-DER (X-DER) と呼ばれる手法は、標準ベンチマーク(CIFAR-100 や miniImagenet など)とここで導入された新しい手法の両方で、技術の現状を上回ります。 より理解を深めるために,従来の研究の成果を裏付け,拡張する広範囲なアブレーション研究(例えば,連続的な学習環境における知識蒸留の価値と平坦な最小値)も提供する。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Preserving Generalization of Language models in Few-shot Continual Relation Extraction [34.68364639170838]
  FCRE(Few-shot Continual Relations extract)は、新たな研究分野である。 本稿では,よく捨てられる言語モデルヘッドを活用する新しい手法を提案する。 提案手法の有効性を実証し,今後の研究に有用な知見を提供する。
  論文  参考訳（メタデータ） (2024-10-01T02:22:34Z)
• Continual Learning via Manifold Expansion Replay [36.27348867557826]
  破滅的な忘れは継続的な学習にとって大きな課題である。 我々はReplay Manifold Expansion (MaER)と呼ばれる新しいリプレイ戦略を提案する。 提案手法は,連続的な学習設定における精度を著しく向上し,芸術的状況よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-10-12T05:09:27Z)
• AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning [16.457330925212606]
  持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。 AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。 結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-08-07T01:25:45Z)
• Continual Learning with Strong Experience Replay [32.154995019080594]
  SER(Strong Experience Replay)を用いたCL法を提案する。 SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。 複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T02:42:54Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。