論文の概要: Knowledge Consolidation based Class Incremental Online Learning with Limited Data

• arxiv url: http://arxiv.org/abs/2106.06795v1
• Date: Sat, 12 Jun 2021 15:18:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 17:17:40.067785
• Title: Knowledge Consolidation based Class Incremental Online Learning with Limited Data
• Title（参考訳）: 限定データを用いた知識統合型授業インクリメンタルオンライン学習
• Authors: Mohammed Asad Karim, Vinay Kumar Verma, Pravendra Singh, Vinay Namboodiri, Piyush Rai
• Abstract要約: 本稿では,限定的なデータ環境下での授業段階的なオンライン学習のための新しい手法を提案する。 我々は、破滅的な忘れ込みと過度な適合の問題に悩まされることなく、タスク間で一般化可能な堅牢な表現を学習する。
• 参考スコア（独自算出の注目度）: 41.87919913719975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel approach for class incremental online learning in a limited data setting. This problem setting is challenging because of the following constraints: (1) Classes are given incrementally, which necessitates a class incremental learning approach; (2) Data for each class is given in an online fashion, i.e., each training example is seen only once during training; (3) Each class has very few training examples; and (4) We do not use or assume access to any replay/memory to store data from previous classes. Therefore, in this setting, we have to handle twofold problems of catastrophic forgetting and overfitting. In our approach, we learn robust representations that are generalizable across tasks without suffering from the problems of catastrophic forgetting and overfitting to accommodate future classes with limited samples. Our proposed method leverages the meta-learning framework with knowledge consolidation. The meta-learning framework helps the model for rapid learning when samples appear in an online fashion. Simultaneously, knowledge consolidation helps to learn a robust representation against forgetting under online updates to facilitate future learning. Our approach significantly outperforms other methods on several benchmarks.
• Abstract（参考訳）: 本稿では,限定的なデータ環境下での授業段階的なオンライン学習のための新しい手法を提案する。 1)クラスを段階的に与えること,(2)各クラスのデータはオンライン形式で与えられること,すなわち,トレーニング中に各トレーニングサンプルが1回だけ見られること,(3)各クラスにはトレーニングサンプルが極めて少ないこと,(4)以前のクラスからデータを格納するためにリプレイ/メモリにアクセスできないこと,などが,これらの制約により課題となっている。 したがって、この設定では、破滅的な忘れと過度な適合という2つの問題に対処しなければならない。 提案手法では,広範囲に一般化可能なロバスト表現を学習し,限られたサンプルで将来のクラスに対応するために,破滅的な忘れや過剰さの問題に苦しむことなく学習する。 提案手法は知識統合型メタラーニングフレームワークを活用する。 メタラーニングフレームワークは、サンプルがオンライン形式で現れるときの迅速な学習モデルを支援する。 同時に、知識の統合は、将来の学習を促進するために、オンライン更新の下で忘れることに対する堅牢な表現を学ぶのに役立つ。 我々の手法は、いくつかのベンチマークで他の手法よりも大幅に優れています。

関連論文リスト

• A Unified Framework for Continual Learning and Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することにより,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Learning from One Continuous Video Stream [70.30084026960819]
  1つの連続ビデオストリームからオンライン学習のためのフレームワークを導入する。 連続するビデオフレーム間の高い相関を考えると、これは大きな課題となる。 プリトレーニングとシングルストリーム評価を切り替える実用的で柔軟な方法として,ピクセル・ツー・ピクセル・モデリングを採用している。
  論文  参考訳（メタデータ） (2023-12-01T14:03:30Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Data-efficient Online Classification with Siamese Networks and Active Learning [11.501721946030779]
  オンライン分類におけるラベル付き・非定常・不均衡データからの学習について検討する。 本研究では,シアムニューラルネットワークとアクティブラーニングを相乗的に組み合わせた学習手法を提案する。 提案手法はデータの非定常性と不均衡に対して頑健であり,学習速度と性能の両面で,ベースラインと最先端アルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2020-10-04T19:07:19Z)
• Incremental Learning In Online Scenario [8.885829189810197]
  現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。 本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T02:24:26Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。