論文の概要: Memory Replay with Data Compression for Continual Learning

• arxiv url: http://arxiv.org/abs/2202.06592v1
• Date: Mon, 14 Feb 2022 10:26:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 17:11:05.693988
• Title: Memory Replay with Data Compression for Continual Learning
• Title（参考訳）: 連続学習のためのデータ圧縮によるメモリリプレイ
• Authors: Liyuan Wang, Xingxing Zhang, Kuo Yang, Longhui Yu, Chongxuan Li, Lanqing Hong, Shifeng Zhang, Zhenguo Li, Yi Zhong, Jun Zhu
• Abstract要約: 古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
• 参考スコア（独自算出の注目度）: 80.95444077825852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning needs to overcome catastrophic forgetting of the past. Memory replay of representative old training samples has been shown as an effective solution, and achieves the state-of-the-art (SOTA) performance. However, existing work is mainly built on a small memory buffer containing a few original data, which cannot fully characterize the old data distribution. In this work, we propose memory replay with data compression to reduce the storage cost of old training samples and thus increase their amount that can be stored in the memory buffer. Observing that the trade-off between the quality and quantity of compressed data is highly nontrivial for the efficacy of memory replay, we propose a novel method based on determinantal point processes (DPPs) to efficiently determine an appropriate compression quality for currently-arrived training samples. In this way, using a naive data compression algorithm with a properly selected quality can largely boost recent strong baselines by saving more compressed data in a limited storage space. We extensively validate this across several benchmarks of class-incremental learning and in a realistic scenario of object detection for autonomous driving.
• Abstract（参考訳）: 継続的な学習は過去の破滅的な忘れを克服する必要がある。 代表的な古いトレーニングサンプルのメモリリプレイは有効なソリューションとして示され、最先端(SOTA)のパフォーマンスを実現している。 しかし、既存の作業は主に、少数のオリジナルデータを含む小さなメモリバッファ上に構築されており、古いデータ分布を完全に特徴付けることはできない。 本研究では,古いトレーニングサンプルのストレージコストを削減し,メモリバッファに格納できる量を増やすために,データ圧縮によるメモリ再生を提案する。 圧縮データの品質と量とのトレードオフがメモリリプレイの有効性にとって極めて重要でないことを見極め,DPP(Determinantal Point Process)に基づく新しい手法を提案し,現在開発中のトレーニングサンプルの適切な圧縮品質を効率的に決定する。 このように、適切に選択された品質のナイーブデータ圧縮アルゴリズムを使用することで、限られたストレージ空間に圧縮データを保存することで、最近の強力なベースラインを大きく向上させることができる。 我々はこれを、クラス増分学習のベンチマークと、自律運転のための物体検出の現実的なシナリオにおいて、広範囲に検証する。

関連論文リスト

• Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning [19.671792951465]
  インクリメンタルラーニング(IL)は、従来のタスクから学んだ知識を維持しつつ、現在のタスクから新しい知識を取得することを目的としている。 リプレイベースのILメソッドは、以前のタスクをバッファに格納し、新しいタスクを学ぶ際にそれらを再生する。 データ蒸留(DD)は、大規模な実データセットを、より情報に適合した合成例のセットに凝縮することで、模範バッファのサイズを減らすことができる。 本稿では,歴史に残るチェックポイントのスライディングウィンドウから合成データを蒸留するDDの革新的な改良を提案する。
  論文  参考訳（メタデータ） (2024-10-20T12:13:32Z)
• FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification [7.29168794682254]
  クラス増分連続学習は研究の重要な領域である。 以前の作品では、リプレイと圧縮されたリプレイ技術を用いて、有望な結果が得られた。 この作業は、GDumbのパイプラインで圧縮されたリプレイを評価することである。
  論文  参考訳（メタデータ） (2024-07-17T07:54:03Z)
• Probing Image Compression For Class-Incremental Learning [8.711266563753846]
  連続機械学習(ML)システムは、前もって学習したデータのパフォーマンスを維持するために、メモリ制限内に代表サンプル(例題としても知られる)を格納することに依存する。 本稿では,バッファの容量を増大させる戦略として画像圧縮を利用する方法を検討する。 本稿では,事前処理データ圧縮ステップと効率的な圧縮率/アルゴリズム選択方法を含む連続MLのための画像圧縮を組み込む新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-10T18:58:14Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Summarizing Stream Data for Memory-Constrained Online Continual Learning [17.40956484727636]
  本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。 計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
  論文  参考訳（メタデータ） (2023-05-26T05:31:51Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Sample Condensation in Online Continual Learning [13.041782266237]
  オンライン連続学習は、モデルが非定常的なデータストリームから学ぶ必要がある、困難な学習シナリオである。 我々は,知識凝縮技術を用いて連続的にメモリを圧縮する新しいリプレイ型連続学習戦略であるOLCGMを提案する。
  論文  参考訳（メタデータ） (2022-06-23T17:23:42Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。