論文の概要: Class Incremental Online Streaming Learning

• arxiv url: http://arxiv.org/abs/2110.10741v1
• Date: Wed, 20 Oct 2021 19:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-23 14:32:19.343038
• Title: Class Incremental Online Streaming Learning
• Title（参考訳）: クラスインクリメンタルなオンラインストリーミング学習
• Authors: Soumya Banerjee, Vinay Kumar Verma, Toufiq Parag, Maneesh Singh, Vinay P. Namboodiri
• Abstract要約: 本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。 提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。 また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
• 参考スコア（独自算出の注目度）: 40.97848249237289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wide variety of methods have been developed to enable lifelong learning in conventional deep neural networks. However, to succeed, these methods require a `batch' of samples to be available and visited multiple times during training. While this works well in a static setting, these methods continue to suffer in a more realistic situation where data arrives in \emph{online streaming manner}. We empirically demonstrate that the performance of current approaches degrades if the input is obtained as a stream of data with the following restrictions: $(i)$ each instance comes one at a time and can be seen only once, and $(ii)$ the input data violates the i.i.d assumption, i.e., there can be a class-based correlation. We propose a novel approach (CIOSL) for the class-incremental learning in an \emph{online streaming setting} to address these challenges. The proposed approach leverages implicit and explicit dual weight regularization and experience replay. The implicit regularization is leveraged via the knowledge distillation, while the explicit regularization incorporates a novel approach for parameter regularization by learning the joint distribution of the buffer replay and the current sample. Also, we propose an efficient online memory replay and replacement buffer strategy that significantly boosts the model's performance. Extensive experiments and ablation on challenging datasets show the efficacy of the proposed method.
• Abstract（参考訳）: 従来のディープニューラルネットワークにおいて、生涯学習を可能にする様々な方法が開発されている。 しかし、成功させるためには、サンプルの‘バッチ’を入手し、トレーニング中に何度も訪問する必要がある。 これは静的な環境ではうまく機能するが、これらのメソッドは \emph{online streaming manner} でデータが到着するより現実的な状況に苦しむ。 入力が以下の制限付きデータのストリームとして取得された場合、現在のアプローチのパフォーマンスは劣化するということを実証的に実証する。 (i)$ 各インスタンスは一度に1つずつ現れ、一度だけ見ることができ、$ (ii) 入力データがi.i.dの仮定に違反している場合、すなわちクラスベースの相関が存在する。 本稿では,これらの課題に対処するために,‘emph{online streaming set}’におけるクラスインクリメンタル学習のための新しいアプローチ(CIOSL)を提案する。 提案手法は暗黙的かつ明示的な二重重み正規化と経験リプレイを活用する。 暗黙の正則化は知識蒸留によって利用され、明示的な正則化はバッファリプレイと現在のサンプルの共分散を学習することでパラメータ正則化の新しいアプローチを取り入れている。 また,モデルの性能を著しく向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。 挑戦的データセットに対する大規模な実験とアブレーションは,提案手法の有効性を示す。

関連論文リスト

• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• Tackling Online One-Class Incremental Learning by Removing Negative Contrasts [12.048166025000976]
  他の連続的な学習設定とは違い、学習者は1回だけ新しいサンプルが提示される。 ER-AMLは、入力データと再生データにコントラスト学習に基づく非対称な損失を適用することにより、この設定で強い性能を達成した。 我々は、教師付き学習から教師付き学習環境へ、最近提案されたアプローチを適応させ、コントラストの制約を解き放つ。
  論文  参考訳（メタデータ） (2022-03-24T19:17:29Z)
• The Challenges of Continuous Self-Supervised Learning [40.941767578622745]
  自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。 このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。 本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
  論文  参考訳（メタデータ） (2022-03-23T20:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。