論文の概要: Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification

• arxiv url: http://arxiv.org/abs/2111.02757v1
• Date: Thu, 4 Nov 2021 11:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 13:19:08.950040
• Title: Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
• Title（参考訳）: マルチディープメトリック学習と不確実性誘導型エピソディックメモリリプレイによるオンライン連続学習 - iccv 2021ワークショップ ssladトラック3a 連続オブジェクト分類のための3位解
• Authors: Muhammad Rifki Kurniawan, Xing Wei, Yihong Gong
• Abstract要約: オンライン連続学習における非定常性は、ニューラルネットワークにおける破滅的な忘れを招きかねない。 提案手法は,平均平均クラス精度(AMCA)64.01%,テストセット64.53%のAMCAでかなりの一般化を実現する。
• 参考スコア（独自算出の注目度）: 41.35216156491142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning in the wild is a very difficult task in machine learning. Non-stationarity in online continual learning potentially brings about catastrophic forgetting in neural networks. Specifically, online continual learning for autonomous driving with SODA10M dataset exhibits extra problems on extremely long-tailed distribution with continuous distribution shift. To address these problems, we propose multiple deep metric representation learning via both contrastive and supervised contrastive learning alongside soft labels distillation to improve model generalization. Moreover, we exploit modified class-balanced focal loss for sensitive penalization in class imbalanced and hard-easy samples. We also store some samples under guidance of uncertainty metric for rehearsal and perform online and periodical memory updates. Our proposed method achieves considerable generalization with average mean class accuracy (AMCA) 64.01% on validation and 64.53% AMCA on test set.
• Abstract（参考訳）: オンラインの連続学習は、機械学習において非常に難しいタスクである。 オンライン連続学習の非定常性は、ニューラルネットワークにおける破滅的な忘れをもたらす可能性がある。 特に、soda10mデータセットを用いた自動運転のためのオンライン連続学習は、連続分布シフトを伴う超ロングテール分布において余分な問題を示す。 そこで本研究では,ソフトラベル蒸留と並行して,コントラスト学習と教師付きコントラスト学習を併用した,複数の深層メトリック表現学習を提案する。 さらに, クラス不均衡および難易度サンプルの高感度なペナル化のために, 修正されたクラスバランス型焦点損失を利用した。 また,リハーサルのための不確実性指標の指導のもとにサンプルを保存し,オンラインおよび定期記憶更新を行う。 提案手法は,平均平均クラス精度(AMCA)64.01%,テストセット64.53%のAMCAでかなりの一般化を実現する。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• New metrics for analyzing continual learners [27.868967961503962]
  継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。 この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。 課題の難しさを考慮に入れた新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:53:33Z)
• CBA: Improving Online Continual Learning via Continual Bias Adaptor [44.1816716207484]
  本稿では,学習中の破滅的な分布変化に対応するために,分類器ネットワークを増強する連続バイアス適応器を提案する。 テスト段階では、CBAを削除できるため、追加のコストとメモリオーバーヘッドは発生しない。 提案手法が破滅的な分布変化を効果的に軽減できる理由を理論的に明らかにする。
  論文  参考訳（メタデータ） (2023-08-14T04:03:51Z)
• Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning [21.36130180647864]
  モデルをスクラッチからトレーニングして、新たに生成されたデータに適応することは、時間がかかり非効率である。 破滅的な忘れを軽減できるトレーニングアーキテクチャを導入します。 Kaizenは、競争力のあるビジョンベンチマークにおいて、以前のSSLモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2023-03-30T09:08:57Z)
• Scalable Adversarial Online Continual Learning [11.6720677621333]
  本稿では,スケーラブルな逆連続学習法(SCALE)を提案する。 共通の特徴をタスク固有の特徴に変換するパラメータジェネレータと、共通の特徴を誘導する対戦ゲームにおける1つの識別器を前進させる。 これは、精度と実行時間の両方で顕著なマージンで顕著なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-09-04T08:05:40Z)
• Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries [17.43350151320054]
  大量の連続学習(CL)手法は、クリーンなラベルを持つデータストリームを前提としており、ノイズの多いデータストリームの下でのオンライン学習シナリオはまだ探索されていない。 我々は、既存のCLメソッドが苦労しているラベル付きぼやけたデータストリームからオンライン学習のより実践的なCLタスク設定について検討する。 本稿では,ラベルノイズを意識した多様なサンプリングと,半教師付き学習による頑健な学習の統一的アプローチにより,メモリの管理と利用を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:52:45Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。