論文の概要: Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams

• arxiv url: http://arxiv.org/abs/2009.00919v4
• Date: Tue, 6 Apr 2021 10:40:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 18:34:47.419114
• Title: Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams
• Title（参考訳）: 連続的プロトタイプ進化 - 非定常データストリームからオンライン学習
• Authors: Matthias De Lange, Tinne Tuytelaars
• Abstract要約: 任意の時点で学習と予測を可能にするシステムを導入する。 継続的な学習における主要な仕事とは対照的に、データストリームはオンライン形式で処理される。 我々は,高度にバランスの取れない3つのデータストリームを含む8つのベンチマークで,最先端のパフォーマンスを顕著に比較した。
• 参考スコア（独自算出の注目度）: 42.525141660788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attaining prototypical features to represent class distributions is well established in representation learning. However, learning prototypes online from streaming data proves a challenging endeavor as they rapidly become outdated, caused by an ever-changing parameter space during the learning process. Additionally, continual learning does not assume the data stream to be stationary, typically resulting in catastrophic forgetting of previous knowledge. As a first, we introduce a system addressing both problems, where prototypes evolve continually in a shared latent space, enabling learning and prediction at any point in time. In contrast to the major body of work in continual learning, data streams are processed in an online fashion, without additional task-information, and an efficient memory scheme provides robustness to imbalanced data streams. Besides nearest neighbor based prediction, learning is facilitated by a novel objective function, encouraging cluster density about the class prototype and increased inter-class variance. Furthermore, the latent space quality is elevated by pseudo-prototypes in each batch, constituted by replay of exemplars from memory. As an additional contribution, we generalize the existing paradigms in continual learning to incorporate data incremental learning from data streams by formalizing a two-agent learner-evaluator framework. We obtain state-of-the-art performance by a significant margin on eight benchmarks, including three highly imbalanced data streams.
• Abstract（参考訳）: クラス分布を表現するための原型的特徴の獲得は、表現学習においてよく確立されている。 しかし、ストリーミングデータからオンラインのプロトタイプを学習することは、学習プロセス中に常に変化するパラメータ空間によって急速に時代遅れになるため、難しい作業である。 さらに、連続学習はデータストリームを定常と仮定せず、通常、過去の知識を壊滅的に忘れてしまう。 まず,両問題に対処するシステムを導入し,プロトタイプを共有潜在空間で継続的に進化させ,任意の時点における学習と予測を可能にする。 連続学習の主要な作業とは対照的に、データストリームは追加のタスク情報なしでオンライン形式で処理され、効率的なメモリスキームは不均衡なデータストリームに対して堅牢性を提供します。 近距離に基づく予測に加えて、新しい目的関数によって学習が促進され、クラスプロトタイプのクラスタ密度が促進され、クラス間分散が増加する。 さらに、メモリからのexemplarの再生によって構成される各バッチの擬似プロトタイプによって潜在空間品質が向上する。 さらに,継続学習における既存のパラダイムを一般化し,データストリームからのインクリメンタルな学習を,2エージェントの学習者評価フレームワークを定式化することで取り入れる。 我々は,高度にバランスの取れない3つのデータストリームを含む8つのベンチマークで,最先端のパフォーマンスを顕著に比較した。

関連論文リスト

• RPS: A Generic Reservoir Patterns Sampler [1.09784964592609]
  本稿では,ストリーミングバッチデータからの直接パターンサンプリングを容易にするために,重み付き貯水池を利用する手法を提案する。 本稿では、時間的バイアスに対処し、逐次的、重み付け、および非重み付けを含む様々なパターンタイプを処理できる汎用アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-31T16:25:21Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• Data augmentation on-the-fly and active learning in data stream classification [9.367903089535684]
  予測モデルをオンザフライでトレーニングする必要性が高まっている。 学習モデルは、アクティブな学習予算を増やすことなく、より多くのラベル付きデータにアクセスすることができる。 Augmented Queuesは、学習の質とスピードに関して、パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2022-10-13T09:57:08Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Nonstationary data stream classification with online active learning and siamese neural networks [11.501721946030779]
  予測モデルをオンザフライでトレーニングするオンライン学習方法に対する新たなニーズ。 しかし、一連のオープンな課題は、実際にデプロイを妨げている。 本稿では,オンラインアクティブラーニング,シアムネットワーク,マルチキューメモリを組み合わせることで,これらの課題に対処するActiSiameseアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T17:16:03Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。