論文の概要: It's all About Consistency: A Study on Memory Composition for Replay-Based Methods in Continual Learning

• arxiv url: http://arxiv.org/abs/2207.01145v1
• Date: Mon, 4 Jul 2022 00:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 05:19:19.928147
• Title: It's all About Consistency: A Study on Memory Composition for Replay-Based Methods in Continual Learning
• Title（参考訳）: 一貫性に関するすべて--連続学習におけるリプレイ方式のメモリ構成に関する研究
• Authors: Julio Hurtado, Alain Raymond-Saez, Vladimir Araujo, Vincenzo Lomonaco, Davide Bacciu
• Abstract要約: 本稿では,CAWS(Consistency AWare Sampling)と呼ばれるサンプルの学習一貫性に基づく基準を提案する。 CAWSは、ディープネットワークで簡単に学習できるサンプルを優先している。 計算予算に制約された場合、最も一貫した要素を用いることで性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 14.627209111581399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning methods strive to mitigate Catastrophic Forgetting (CF), where knowledge from previously learned tasks is lost when learning a new one. Among those algorithms, some maintain a subset of samples from previous tasks when training. These samples are referred to as a memory. These methods have shown outstanding performance while being conceptually simple and easy to implement. Yet, despite their popularity, little has been done to understand which elements to be included into the memory. Currently, this memory is often filled via random sampling with no guiding principles that may aid in retaining previous knowledge. In this work, we propose a criterion based on the learning consistency of a sample called Consistency AWare Sampling (CAWS). This criterion prioritizes samples that are easier to learn by deep networks. We perform studies on three different memory-based methods: AGEM, GDumb, and Experience Replay, on MNIST, CIFAR-10 and CIFAR-100 datasets. We show that using the most consistent elements yields performance gains when constrained by a compute budget; when under no such constrain, random sampling is a strong baseline. However, using CAWS on Experience Replay yields improved performance over the random baseline. Finally, we show that CAWS achieves similar results to a popular memory selection method while requiring significantly less computational resources.
• Abstract（参考訳）: 連続学習法は、新しいものを学ぶ際に、以前に学習したタスクからの知識が失われる、破滅的な忘れ(cf)を緩和しようとする。 これらのアルゴリズムのうち、トレーニング時に以前のタスクからサンプルを一部保持するものもある。 これらのサンプルはメモリと呼ばれる。 これらの手法は概念的にシンプルで実装が容易でありながら優れた性能を示している。 しかし、その人気にもかかわらず、どの要素をメモリに含めるべきかを理解するためにはほとんど行われていない。 現在、このメモリは、以前の知識を維持するのに役立つ指針のないランダムサンプリングによって埋められることが多い。 本研究では,Consistency AWare Sampling (CAWS) と呼ばれるサンプルの学習一貫性に基づく基準を提案する。 この基準は、ディープネットワークで学習しやすいサンプルを優先する。 我々は、MNIST、CIFAR-10、CIFAR-100データセット上で、AGEM、GDumb、Experience Replayの3つの異なるメモリベース手法の研究を行う。 計算予算に制約された場合、最も一貫した要素を用いることで性能が向上し、そのような制約がなければ、ランダムサンプリングは強力なベースラインとなる。 しかし、CAWS on Experience Replayを使用すると、ランダムなベースラインよりもパフォーマンスが向上する。 最後に、CAWSは、計算資源を著しく少なくしながら、一般的なメモリ選択法と同様の結果が得られることを示す。

関連論文リスト

• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Holistic Memory Diversification for Incremental Learning in Growing Graphs [16.483780704430405]
  目標は、以前のタスクに対する推論能力を維持しながら、新しいタスクを処理するためにグラフモデルを継続的にトレーニングすることだ。 既存の方法は、通常、メモリの多様性の重要性を無視し、以前のタスクから高品質なメモリを効果的に選択することを制限する。 本稿では,グラフにおける漸進的学習のための包括的メモリ選択・生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T16:18:15Z)
• Lifelong Event Detection with Embedding Space Separation and Compaction [30.05158209938146]
  既存のイベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。 メモリデータと新しいタスクサンプルの単純な組み合わせは、以前取得した知識をかなり忘れてしまう可能性がある。 本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T06:51:49Z)
• Slightly Shift New Classes to Remember Old Classes for Video Class-Incremental Learning [14.199974986278438]
  従来のクラスを思い出すために,新しいクラスの特徴をわずかにシフトさせるSNROを提案する。 ESはより低いサンプルレートでメモリセットを構築し、これらのスパースフレームを将来的に調整するために使用します。 EBは小さなエポックでトレーニングを終了し、モデルが現在のタスクの高意味空間にオーバーストレッチすることを防ぐ。
  論文  参考訳（メタデータ） (2024-04-01T03:58:51Z)
• What do larger image classifiers memorise? [64.01325988398838]
  トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
  論文  参考訳（メタデータ） (2023-10-09T01:52:07Z)
• Learning Large Scale Sparse Models [6.428186644949941]
  サンプルの数や特徴次元が数百万から数十億にも達する大規模環境でスパースモデルを学習することを検討する。 ラッソのようなスパースモデルをオンライン的に学習し、ランダムに選択されたサンプルが1つだけ露呈してスパース勾配を更新することを提案する。 これにより、メモリコストはサンプルサイズに依存しず、1つのサンプルの勾配評価が効率的となる。
  論文  参考訳（メタデータ） (2023-01-26T06:29:49Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed Recognition [95.93760490301395]
  クラスごとのサンプル数が非バランスである長尾認識の問題は、考慮されます。 これは例の繰り返しサンプリングによるものであり、特徴空間拡張によって対処できると仮定される。 トレーニング中のエポック間の機能のバックトラッキングに基づく,新たな機能拡張戦略であるemanateを提案する。 新たなサンプリング手順であるbreadcrumbは、余分な計算なしで逆のクラスバランスのサンプリングを実装するために導入された。
  論文  参考訳（メタデータ） (2021-05-01T00:21:26Z)
• Improving memory banks for unsupervised learning with large mini-batch, consistency and hard negative mining [61.223064077782645]
  バニラメモリバンクをベースとした定式化では,3つの改良が加えられた。 我々は、同一サンプルの異なる拡張によって得られるロジットを、負のサンプルに対する差別を強制することなく、近くまで拡張することで得られるロジットを強制する。 インスタンス識別は、視覚的に類似したサンプルには意味がないため、メモリバンクを改善するための新しい近接アプローチを考案する。
  論文  参考訳（メタデータ） (2021-02-08T18:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。