論文の概要: New metrics for analyzing continual learners
- arxiv url: http://arxiv.org/abs/2309.00462v1
- Date: Fri, 1 Sep 2023 13:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 13:20:57.513463
- Title: New metrics for analyzing continual learners
- Title(参考訳): 連続学習者分析のための新しい指標
- Authors: Nicolas Michel, Giovanni Chierchia, Romain Negrel, Jean-Fran\c{c}ois
Bercher, Toshihiko Yamasaki
- Abstract要約: 継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
- 参考スコア(独自算出の注目度): 27.868967961503962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks have shown remarkable performance when trained on
independent and identically distributed data from a fixed set of classes.
However, in real-world scenarios, it can be desirable to train models on a
continuous stream of data where multiple classification tasks are presented
sequentially. This scenario, known as Continual Learning (CL) poses challenges
to standard learning algorithms which struggle to maintain knowledge of old
tasks while learning new ones. This stability-plasticity dilemma remains
central to CL and multiple metrics have been proposed to adequately measure
stability and plasticity separately. However, none considers the increasing
difficulty of the classification task, which inherently results in performance
loss for any model. In that sense, we analyze some limitations of current
metrics and identify the presence of setup-induced forgetting. Therefore, we
propose new metrics that account for the task's increasing difficulty. Through
experiments on benchmark datasets, we demonstrate that our proposed metrics can
provide new insights into the stability-plasticity trade-off achieved by models
in the continual learning environment.
- Abstract(参考訳): ディープニューラルネットワークは、固定されたクラスから独立かつ同一に分散したデータに基づいてトレーニングした場合、驚くべきパフォーマンスを示している。
しかし,実世界のシナリオでは,複数の分類タスクが順次提示される連続的なデータストリーム上でモデルをトレーニングすることが望ましい。
このシナリオはcontinual learning(cl)と呼ばれ、新しいタスクを学習しながら古いタスクの知識を維持するのに苦労する標準学習アルゴリズムに挑戦する。
この安定性可塑性ジレンマはclの中心であり、安定性と可塑性を個別に測定するために複数の指標が提案されている。
しかし、どのモデルでも性能が低下する原因となる分類タスクの困難さは考慮されていない。
その意味で、現在のメトリクスのいくつかの制限を分析し、セットアップによって引き起こされる忘れの存在を特定する。
そこで本研究では,タスクの難易度を考慮した新しい指標を提案する。
ベンチマークデータセットの実験を通じて,提案手法が連続学習環境におけるモデルによって達成される安定性と塑性のトレードオフについて,新たな洞察を与えることを示す。
関連論文リスト
- Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Towards Plastic and Stable Exemplar-Free Incremental Learning: A
Dual-Learner Framework with Cumulative Parameter Averaging [13.293105226880616]
In this proposed a Dual-Learner framework with Cumulative。
平均化(DLCPA)
DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-28T08:48:44Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。
メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文 参考訳(メタデータ) (2022-07-11T16:01:27Z) - LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。
タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。
クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
論文 参考訳(メタデータ) (2022-04-12T12:25:05Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。
我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文 参考訳(メタデータ) (2021-12-08T10:39:13Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳(メタデータ) (2021-06-24T05:19:26Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳(メタデータ) (2020-06-30T06:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。