論文の概要: Incremental Learning In Online Scenario

• arxiv url: http://arxiv.org/abs/2003.13191v2
• Date: Mon, 19 Apr 2021 00:50:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 07:45:48.404097
• Title: Incremental Learning In Online Scenario
• Title（参考訳）: オンラインシナリオにおけるインクリメンタル学習
• Authors: Jiangpeng He, Runyu Mao, Zeman Shao and Fengqing Zhu
• Abstract要約: 現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。 本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.885829189810197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning approaches have achieved great success in many vision applications by training a model using all available task-specific data. However, there are two major obstacles making it challenging to implement for real life applications: (1) Learning new classes makes the trained model quickly forget old classes knowledge, which is referred to as catastrophic forgetting. (2) As new observations of old classes come sequentially over time, the distribution may change in unforeseen way, making the performance degrade dramatically on future data, which is referred to as concept drift. Current state-of-the-art incremental learning methods require a long time to train the model whenever new classes are added and none of them takes into consideration the new observations of old classes. In this paper, we propose an incremental learning framework that can work in the challenging online learning scenario and handle both new classes data and new observations of old classes. We address problem (1) in online mode by introducing a modified cross-distillation loss together with a two-step learning technique. Our method outperforms the results obtained from current state-of-the-art offline incremental learning methods on the CIFAR-100 and ImageNet-1000 (ILSVRC 2012) datasets under the same experiment protocol but in online scenario. We also provide a simple yet effective method to mitigate problem (2) by updating exemplar set using the feature of each new observation of old classes and demonstrate a real life application of online food image classification based on our complete framework using the Food-101 dataset.
• Abstract（参考訳）: 現代のディープラーニングアプローチは、利用可能なすべてのタスク固有のデータを使用してモデルをトレーニングすることで、多くのビジョンアプリケーションで大きな成功を収めています。 1)新しいクラスを学ぶことで、トレーニングされたモデルは古いクラスの知識をすぐに忘れてしまう。 2) 古いクラスの新たな観測が時間とともに順次行われると,その分布は予期せぬ方法で変化し,将来のデータで性能が劇的に低下する可能性がある。 現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルを訓練するのに長い時間がかかる。 本稿では,難易度の高いオンライン学習シナリオに取り組み,新しいクラスデータと古いクラスの新たな観察の両方を扱える漸進的な学習フレームワークを提案する。 オンラインモードにおける課題(1)を2段階の学習手法とともに, クロス蒸留損失の修正を導入することで解決する。 提案手法は,cifar-100とimagenet-1000(ilsvrc 2012)のデータセット上で,同じ実験プロトコルで,オンラインシナリオにおいて,最先端のオフラインインクリメンタル学習手法から得られた結果を上回っている。 また,古いクラスの新たな観察結果の特徴を用いてexemplarsetを更新し,food-101データセットを用いた完全フレームワークに基づくオンライン食品画像分類の実運用を実演することにより,問題(2)を緩和する簡易かつ効果的な方法を提案する。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning [21.901331484173944]
  授業の段階的学習における破滅的忘れの原因を分析した。 固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。 本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
  論文  参考訳（メタデータ） (2023-08-04T14:20:42Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• Knowledge Consolidation based Class Incremental Online Learning with Limited Data [41.87919913719975]
  本稿では,限定的なデータ環境下での授業段階的なオンライン学習のための新しい手法を提案する。 我々は、破滅的な忘れ込みと過度な適合の問題に悩まされることなく、タスク間で一般化可能な堅牢な表現を学習する。
  論文  参考訳（メタデータ） (2021-06-12T15:18:29Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition [0.0]
  トレーニング記録フェーズ」でモデルを事前トレーニングし、新しいデータに調整する必要がある。 本稿では,ニューラルネットワークの終端における高速連続学習層を提案する。
  論文  参考訳（メタデータ） (2020-06-12T13:04:58Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。