論文の概要: The Effectiveness of Memory Replay in Large Scale Continual Learning

• arxiv url: http://arxiv.org/abs/2010.02418v1
• Date: Tue, 6 Oct 2020 01:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:11:18.377453
• Title: The Effectiveness of Memory Replay in Large Scale Continual Learning
• Title（参考訳）: 大規模連続学習における記憶再生の有効性
• Authors: Yogesh Balaji, Mehrdad Farajtabar, Dong Yin, Alex Mott, Ang Li
• Abstract要約: 入力シーケンス内のタスクが分類に制限されず、出力が高次元の大規模環境で連続学習を研究する。 既存のメソッドは通常、入出力ペアのみを再生する。 入力と出力のペアに加えて,中間層の活性化を再現する。
• 参考スコア（独自算出の注目度）: 42.67483945072039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study continual learning in the large scale setting where tasks in the input sequence are not limited to classification, and the outputs can be of high dimension. Among multiple state-of-the-art methods, we found vanilla experience replay (ER) still very competitive in terms of both performance and scalability, despite its simplicity. However, a degraded performance is observed for ER with small memory. A further visualization of the feature space reveals that the intermediate representation undergoes a distributional drift. While existing methods usually replay only the input-output pairs, we hypothesize that their regularization effect is inadequate for complex deep models and diverse tasks with small replay buffer size. Following this observation, we propose to replay the activation of the intermediate layers in addition to the input-output pairs. Considering that saving raw activation maps can dramatically increase memory and compute cost, we propose the Compressed Activation Replay technique, where compressed representations of layer activation are saved to the replay buffer. We show that this approach can achieve superior regularization effect while adding negligible memory overhead to replay method. Experiments on both the large-scale Taskonomy benchmark with a diverse set of tasks and standard common datasets (Split-CIFAR and Split-miniImageNet) demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 本研究では,入力列内のタスクが分類に制限されず,出力が高次元であるような大規模環境での連続学習について検討する。 最先端の複数のメソッドの中で、バニラ・エクスペリエンス・リプレイ(er)はシンプルさにもかかわらず、パフォーマンスとスケーラビリティの両面で依然として非常に競争力があることがわかった。 しかし、小メモリのERでは劣化した性能が観察される。 特徴空間のさらなる可視化により、中間表現が分布的ドリフトを受けることが分かる。 既存の手法は通常入出力ペアのみを再生するが、その正規化効果は複雑な深層モデルやリプレイバッファサイズの少ない多様なタスクでは不十分であると仮定する。 この観察の後、入力出力ペアに加えて中間層の活性化を再生することを提案する。 生のアクティベーションマップの保存がメモリと計算コストを劇的に向上させることを考えると,レイヤアクティベーションの圧縮表現をリプレイバッファに保存するCompressed Activation Replay技術を提案する。 本手法は,リプレイ法に不要なメモリオーバヘッドを付加しながら,より優れた正規化効果を実現できることを示す。 タスクセットの多様さと標準共通データセット(Split-CIFARとSplit-miniImageNet)による大規模タスクノミーベンチマークの実験は、提案手法の有効性を実証している。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEAL は複数の画像認識ベンチマークにおいて,SOTA 法 XDER と ER と ER-ACE の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• Augmented Box Replay: Overcoming Foreground Shift for Incremental Object Detection [26.948748060138264]
  漸進的な学習では、過去のタスクから格納されたサンプルを現在のタスクサンプルと共に再生することが、破滅的な忘れに対処する最も効率的なアプローチの1つである。 インクリメンタルな分類とは異なり、画像リプレイはインクリメンタルなオブジェクト検出(IOD)にはうまく適用されていない。 前景シフトは、以前のタスクのイメージを再生する際にのみ発生し、その背景に現在のタスクの前景オブジェクトが含まれる可能性があるという事実を指す。
  論文  参考訳（メタデータ） (2023-07-23T20:47:03Z)
• Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs [7.923088041693465]
  特徴空間の部分集合の後方部分集合を学習するための軽量なVAEのアンサンブルを, 新規な分割コンカレントアプローチで結合後部分集合に集約する。 このアプローチは推論時に部分的な機能に対して堅牢であることを示し、ほとんどの機能が欠落していても、パフォーマンスの劣化がほとんどないことを示します。
  論文  参考訳（メタデータ） (2023-06-27T17:55:31Z)
• Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning [15.771773131031054]
  深層強化学習エージェントは、しばしば破滅的な忘れ込みに悩まされ、新しいデータをトレーニングする際に、入力空間の一部で以前見つかったソリューションを忘れる。 本稿では,Grow-When-Required(GWR)自己組織化ネットワークに基づく,認知に触発された新しいリプレイメモリ手法を提案する。 提案手法では, 状態ノードと遷移エッジの簡潔な環境モデルライクなネットワークに格納された遷移を整理し, 類似のサンプルをマージすることにより, メモリサイズを小さくし, サンプル間のペアワイズ距離を増大させる。
  論文  参考訳（メタデータ） (2023-05-03T11:39:31Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• ACAE-REMIND for Online Continual Learning with Compressed Feature Replay [47.73014647702813]
  圧縮率の高い中間層における特徴再生のための補助分類器自動エンコーダ(ACAE)モジュールを提案する。 画像あたりのメモリフットプリントの低減により、リプレイの例を多く保存できます。 実験では,オンライン連続学習環境下でタスク非依存評価を行う。
  論文  参考訳（メタデータ） (2021-05-18T15:27:51Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
  わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。 本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T03:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。