論文の概要: ACAE-REMIND for Online Continual Learning with Compressed Feature Replay

• arxiv url: http://arxiv.org/abs/2105.08595v1
• Date: Tue, 18 May 2021 15:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 13:57:25.779489
• Title: ACAE-REMIND for Online Continual Learning with Compressed Feature Replay
• Title（参考訳）: 圧縮特徴リプレイによるオンライン連続学習のためのACAE-REMIND
• Authors: Kai Wang, Luis Herranz, Joost van de Weijer
• Abstract要約: 圧縮率の高い中間層における特徴再生のための補助分類器自動エンコーダ(ACAE)モジュールを提案する。 画像あたりのメモリフットプリントの低減により、リプレイの例を多く保存できます。 実験では,オンライン連続学習環境下でタスク非依存評価を行う。
• 参考スコア（独自算出の注目度）: 47.73014647702813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning aims to learn from a non-IID stream of data from a number of different tasks, where the learner is only allowed to consider data once. Methods are typically allowed to use a limited buffer to store some of the images in the stream. Recently, it was found that feature replay, where an intermediate layer representation of the image is stored (or generated) leads to superior results than image replay, while requiring less memory. Quantized exemplars can further reduce the memory usage. However, a drawback of these methods is that they use a fixed (or very intransigent) backbone network. This significantly limits the learning of representations that can discriminate between all tasks. To address this problem, we propose an auxiliary classifier auto-encoder (ACAE) module for feature replay at intermediate layers with high compression rates. The reduced memory footprint per image allows us to save more exemplars for replay. In our experiments, we conduct task-agnostic evaluation under online continual learning setting and get state-of-the-art performance on ImageNet-Subset, CIFAR100 and CIFAR10 dataset.
• Abstract（参考訳）: オンライン連続学習は、学習者が一度だけデータを考えることができる、複数の異なるタスクから、非IIDデータストリームから学習することを目的としている。 通常、メソッドは制限されたバッファを使用して、ストリームにいくつかのイメージを保存することができる。 近年,画像の中間層表現が保存(あるいは生成)される機能リプレイは,メモリの削減を図りながら,画像リプレイよりも優れた結果をもたらすことが判明した。 量子化された例はメモリ使用量をさらに削減できる。 しかし、これらの方法の欠点は、固定された(あるいは非常に非推移的な)バックボーンネットワークを使用することである。 これは、全てのタスクを区別できる表現の学習を著しく制限する。 この問題を解決するために,中間層で高い圧縮率で特徴再生を行うための補助分類器自動エンコーダ (ACAE) モジュールを提案する。 画像あたりのメモリフットプリントの削減により、リプレイ用に多くの例を節約できます。 実験では、オンライン連続学習環境下でタスク非依存評価を行い、ImageNet-Subset、CIFAR100、CIFAR10データセット上で最先端のパフォーマンスを得る。

関連論文リスト

• Masked Autoencoders are Efficient Class Incremental Learners [64.90846899051164]
  クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。 本稿では,CIL の学習に Masked Autoencoders (MAEs) を用いることを提案する。
  論文  参考訳（メタデータ） (2023-08-24T02:49:30Z)
• Summarizing Stream Data for Memory-Constrained Online Continual Learning [17.40956484727636]
  本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。 計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
  論文  参考訳（メタデータ） (2023-05-26T05:31:51Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)
• An Empirical Study of Remote Sensing Pretraining [117.90699699469639]
  本研究では,空中画像におけるリモートセンシング事前訓練(RSP)の実証的研究を行った。 RSPは、シーン認識タスクで特有のパフォーマンスを提供するのに役立つ。 RSPは、従来のイメージネットがRS画像に事前学習する際のデータ格差を緩和するが、それでもタスクの相違に悩まされる可能性がある。
  論文  参考訳（メタデータ） (2022-04-06T13:38:11Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Match What Matters: Generative Implicit Feature Replay for Continual Learning [0.0]
  クラス増分学習のためのGenIFeR(Generative Implicit Feature Replay)を提案する。 主な目的は、GAN(Generative Adversarial Network)をトレーニングして、現実的な特徴を含む画像を生成することである。 我々は、GenIFeRが従来の生成画像と特徴再生の両方よりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-09T19:29:41Z)
• EEC: Learning to Encode and Regenerate Images for Continual Learning [9.89901717499058]
  Neural Style Transferで自動エンコーダをトレーニングし、画像をエンコードおよび保存します。 エンコードされたエピソードの再構成画像は 破滅的な忘れ物を避けるために 再生される。 本手法は,ベンチマークデータセットにおける最先端手法よりも分類精度を13～17%向上させる。
  論文  参考訳（メタデータ） (2021-01-13T06:43:10Z)
• The Effectiveness of Memory Replay in Large Scale Continual Learning [42.67483945072039]
  入力シーケンス内のタスクが分類に制限されず、出力が高次元の大規模環境で連続学習を研究する。 既存のメソッドは通常、入出力ペアのみを再生する。 入力と出力のペアに加えて,中間層の活性化を再現する。
  論文  参考訳（メタデータ） (2020-10-06T01:23:12Z)
• Storing Encoded Episodes as Concepts for Continual Learning [22.387008072671005]
  継続的な学習アプローチで直面する2つの大きな課題は、データの保存における破滅的な忘れとメモリ制限である。 本稿では,ニューラルスタイルトランスファーを用いたオートエンコーダを訓練し,画像のエンコードと保存を行う,認知にインスパイアされたアプローチを提案する。 ベンチマークデータセットの最先端手法に比べて,分類精度は13～17%向上し,ストレージスペースは78%削減した。
  論文  参考訳（メタデータ） (2020-06-26T04:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。