論文の概要: Online Prototype Learning for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2308.00301v1
• Date: Tue, 1 Aug 2023 05:46:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 15:21:28.266683
• Title: Online Prototype Learning for Online Continual Learning
• Title（参考訳）: オンライン連続学習のためのオンラインプロトタイプ学習
• Authors: Yujie Wei, Jiaxin Ye, Zhizhong Huang, Junping Zhang, Hongming Shan
• Abstract要約: シングルパスデータストリームから連続的に学習する問題について検討する。 古いデータの小さなサブセットを保存することで、リプレイベースのメソッドは有望なパフォーマンスを示している。 本稿では,オンライン学習モデルが,ショートカット学習の新たな視点からうまく一般化できない理由を理解することを目的とする。
• 参考スコア（独自算出の注目度）: 36.91213307667659
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Online continual learning (CL) studies the problem of learning continuously from a single-pass data stream while adapting to new data and mitigating catastrophic forgetting. Recently, by storing a small subset of old data, replay-based methods have shown promising performance. Unlike previous methods that focus on sample storage or knowledge distillation against catastrophic forgetting, this paper aims to understand why the online learning models fail to generalize well from a new perspective of shortcut learning. We identify shortcut learning as the key limiting factor for online CL, where the learned features may be biased, not generalizable to new tasks, and may have an adverse impact on knowledge distillation. To tackle this issue, we present the online prototype learning (OnPro) framework for online CL. First, we propose online prototype equilibrium to learn representative features against shortcut learning and discriminative features to avoid class confusion, ultimately achieving an equilibrium status that separates all seen classes well while learning new classes. Second, with the feedback of online prototypes, we devise a novel adaptive prototypical feedback mechanism to sense the classes that are easily misclassified and then enhance their boundaries. Extensive experimental results on widely-used benchmark datasets demonstrate the superior performance of OnPro over the state-of-the-art baseline methods. Source code is available at https://github.com/weilllllls/OnPro.
• Abstract（参考訳）: オンライン連続学習(cl)は、新しいデータに適応し、破滅的な忘れを緩和しながら、シングルパスデータストリームから継続的に学習する問題を研究している。 近年、古いデータの小さなサブセットを格納することで、再生ベースの手法は有望な性能を示している。 本稿では, 従来, サンプル貯蔵や, 破滅的忘れに対する知識蒸留に重点を置いてきた手法と異なり, オンライン学習モデルがなぜ, ショートカット学習の新たな視点から, うまく一般化できないのかを理解することを目的とする。 オンラインCLにおけるショートカット学習は,学習した特徴に偏りがあり,新たなタスクに一般化できない,知識蒸留に悪影響を及ぼすおそれがある。 本稿では,オンラインCLのためのオンラインプロトタイプ学習(OnPro)フレームワークを提案する。 まず,近距離学習と判別的特徴から代表的特徴を学習し,クラス混乱を回避し,新しいクラスを学習しながら見受けられた全てのクラスをうまく分離する平衡状態を達成するオンラインプロトタイプ平衡を提案する。 第二に,オンラインプロトタイプのフィードバックにより,誤分類が容易なクラスを検知し,その境界を強化する新しい適応型プロトタイプフィードバック機構を考案する。 広く使用されているベンチマークデータセットの大規模な実験結果は、最先端のベースラインメソッドよりもOnProの優れたパフォーマンスを示している。 ソースコードはhttps://github.com/weilllllls/onpro。

関連論文リスト

• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
  本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-24T08:51:02Z)
• Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework [15.345043222622158]
  我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T06:54:20Z)
• Tackling Online One-Class Incremental Learning by Removing Negative Contrasts [12.048166025000976]
  他の連続的な学習設定とは違い、学習者は1回だけ新しいサンプルが提示される。 ER-AMLは、入力データと再生データにコントラスト学習に基づく非対称な損失を適用することにより、この設定で強い性能を達成した。 我々は、教師付き学習から教師付き学習環境へ、最近提案されたアプローチを適応させ、コントラストの制約を解き放つ。
  論文  参考訳（メタデータ） (2022-03-24T19:17:29Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams [42.525141660788]
  任意の時点で学習と予測を可能にするシステムを導入する。 継続的な学習における主要な仕事とは対照的に、データストリームはオンライン形式で処理される。 我々は,高度にバランスの取れない3つのデータストリームを含む8つのベンチマークで,最先端のパフォーマンスを顕著に比較した。
  論文  参考訳（メタデータ） (2020-09-02T09:39:26Z)
• Incremental Learning In Online Scenario [8.885829189810197]
  現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。 本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T02:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。