論文の概要: Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries

• arxiv url: http://arxiv.org/abs/2203.15355v2
• Date: Wed, 30 Mar 2022 05:51:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 11:45:34.916224
• Title: Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries
• Title（参考訳）: ぼやけたタスク境界を持つ汚染データストリーム上でのオンライン連続学習
• Authors: Jihwan Bang, Hyunseo Koh, Seulki Park, Hwanjun Song, Jung-Woo Ha, Jonghyun Choi
• Abstract要約: 大量の連続学習(CL)手法は、クリーンなラベルを持つデータストリームを前提としており、ノイズの多いデータストリームの下でのオンライン学習シナリオはまだ探索されていない。 我々は、既存のCLメソッドが苦労しているラベル付きぼやけたデータストリームからオンライン学習のより実践的なCLタスク設定について検討する。 本稿では,ラベルノイズを意識した多様なサンプリングと,半教師付き学習による頑健な学習の統一的アプローチにより,メモリの管理と利用を行う新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 17.43350151320054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning under a continuously changing data distribution with incorrect labels is a desirable real-world problem yet challenging. A large body of continual learning (CL) methods, however, assumes data streams with clean labels, and online learning scenarios under noisy data streams are yet underexplored. We consider a more practical CL task setup of an online learning from blurry data stream with corrupted labels, where existing CL methods struggle. To address the task, we first argue the importance of both diversity and purity of examples in the episodic memory of continual learning models. To balance diversity and purity in the episodic memory, we propose a novel strategy to manage and use the memory by a unified approach of label noise aware diverse sampling and robust learning with semi-supervised learning. Our empirical validations on four real-world or synthetic noise datasets (CIFAR10 and 100, mini-WebVision, and Food-101N) exhibit that our method significantly outperforms prior arts in this realistic and challenging continual learning scenario. Code and data splits are available in https://github.com/clovaai/puridiver.
• Abstract（参考訳）: 不正確なラベルで継続的に変化するデータ分布の下で学ぶことは、現実世界で望ましい問題である。 しかし、多くの連続学習(cl)手法では、クリーンなラベルでデータストリームを想定しており、ノイズの多いデータストリームの下でのオンライン学習シナリオは未検討のままである。 我々は、既存のCLメソッドが苦労しているラベル付きぼやけたデータストリームからオンライン学習のより実用的なCLタスク設定を検討する。 この課題に対処するために、我々はまず、連続学習モデルのエピソード記憶におけるサンプルの多様性と純度の重要性を論じる。 エピソジックメモリの多様性と純度をバランスさせるため,ラベルノイズを認識した多種多様なサンプリングとロバスト学習と半教師付き学習の統一的アプローチにより,メモリの管理と利用を行う新しい手法を提案する。 実世界の4つの合成ノイズデータセット(CIFAR10,100,mini-WebVision,Food-101N)に対する実証的検証により,本手法は,この現実的で挑戦的な連続学習シナリオにおいて,先行技術よりも著しく優れていることが示された。 コードとデータの分割はhttps://github.com/clovaai/puridiverで確認できる。

関連論文リスト

• RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Continual Learning with Deep Streaming Regularized Discriminant Analysis [0.0]
  本稿では,この課題に対する解決法として,正規化判別分析のストリーミング版を提案する。 アルゴリズムを畳み込みニューラルネットワークと組み合わせて、バッチ学習と既存のストリーミング学習アルゴリズムよりも優れていることを実証します。
  論文  参考訳（メタデータ） (2023-09-15T12:25:42Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• MILD: Modeling the Instance Learning Dynamics for Learning with Noisy Labels [19.650299232829546]
  クリーンなデータを特定するために,Weibull混合モデルに基づく反復的選択手法を提案する。 特に、誤分類と暗記の間の遷移時間を通じて、各インスタンスの暗記の難しさを測定し、暗記する。 我々の戦略は既存の雑音ラベル学習方法より優れている。
  論文  参考訳（メタデータ） (2023-06-20T14:26:53Z)
• Nonstationary data stream classification with online active learning and siamese neural networks [11.501721946030779]
  予測モデルをオンザフライでトレーニングするオンライン学習方法に対する新たなニーズ。 しかし、一連のオープンな課題は、実際にデプロイを妨げている。 本稿では,オンラインアクティブラーニング,シアムネットワーク,マルチキューメモリを組み合わせることで,これらの課題に対処するActiSiameseアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T17:16:03Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Rainbow Memory: Continual Learning with a Memory of Diverse Samples [14.520337285540148]
  エピソード記憶におけるサンプルの多様性の重要性を論じる。 サンプル毎の分類不確実性およびデータ拡張に基づく新しいメモリ管理戦略を提案する。 提案手法は,ぼやけた連続学習装置の精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-03-31T17:28:29Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。