論文の概要: FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification

• arxiv url: http://arxiv.org/abs/2407.12375v1
• Date: Wed, 17 Jul 2024 07:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 18:07:45.410546
• Title: FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification
• Title（参考訳）: FETCH:画像分類における連続学習のためのメモリ効率の良いリプレイアプローチ
• Authors: Markus Weißflog, Peter Protzel, Peer Neubert,
• Abstract要約: クラス増分連続学習は研究の重要な領域である。 以前の作品では、リプレイと圧縮されたリプレイ技術を用いて、有望な結果が得られた。 この作業は、GDumbのパイプラインで圧縮されたリプレイを評価することである。
• 参考スコア（独自算出の注目度）: 7.29168794682254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-incremental continual learning is an important area of research, as static deep learning methods fail to adapt to changing tasks and data distributions. In previous works, promising results were achieved using replay and compressed replay techniques. In the field of regular replay, GDumb achieved outstanding results but requires a large amount of memory. This problem can be addressed by compressed replay techniques. The goal of this work is to evaluate compressed replay in the pipeline of GDumb. We propose FETCH, a two-stage compression approach. First, the samples from the continual datastream are encoded by the early layers of a pre-trained neural network. Second, the samples are compressed before being stored in the episodic memory. Following GDumb, the remaining classification head is trained from scratch using only the decompressed samples from the reply memory. We evaluate FETCH in different scenarios and show that this approach can increase accuracy on CIFAR10 and CIFAR100. In our experiments, simple compression methods (e.g., quantization of tensors) outperform deep autoencoders. In the future, FETCH could serve as a baseline for benchmarking compressed replay learning in constrained memory scenarios.
• Abstract（参考訳）: 静的な深層学習手法はタスクやデータ分布の変化に適応できないため、クラスインクリメンタルな学習は研究の重要な領域である。 以前の作品では、リプレイと圧縮されたリプレイ技術を用いて、有望な結果が得られた。 通常のリプレイの分野では、GDumbは優れた結果を得たが、大量のメモリを必要とする。 この問題は圧縮再生技術によって解決できる。 この研究の目的は、GDumbのパイプラインで圧縮された再生を評価することである。 2段階圧縮手法であるFETCHを提案する。 まず、連続データストリームからのサンプルは、事前訓練されたニューラルネットワークの初期層によって符号化される。 第2に、サンプルはエピソードメモリに格納される前に圧縮される。 GDumbの後、残りの分類ヘッドは返信メモリから圧縮されたサンプルのみを使用してスクラッチから訓練される。 我々は、異なるシナリオでFETCHを評価し、CIFAR10とCIFAR100の精度を高めることができることを示す。 我々の実験では、単純な圧縮法(例えばテンソルの量子化)はディープオートエンコーダより優れている。 将来的には、FETCHは圧縮されたリプレイ学習を制約されたメモリシナリオでベンチマークするためのベースラインとして機能する可能性がある。

関連論文リスト

• Robust and Transferable Backdoor Attacks Against Deep Image Compression With Selective Frequency Prior [118.92747171905727]
  本稿では,学習画像の圧縮モデルに複数のトリガを付加したバックドアアタックを起動するための新しい周波数ベースのトリガインジェクションモデルを提案する。 1) 圧縮品質をビットレートと再現精度で劣化させる,2) 顔認識やセマンティックセグメンテーションといったタスク駆動型対策を目標とする,様々なシナリオに適した攻撃目標を設計する。 実験の結果, トリガーインジェクションモデルと, エンコーダパラメータの微調整を組み合わせることで, 複数のバックドアとトリガーを1つの圧縮モデルに注入することができた。
  論文  参考訳（メタデータ） (2024-12-02T15:58:40Z)
• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEALは,既存のクラス増分法の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• ACAE-REMIND for Online Continual Learning with Compressed Feature Replay [47.73014647702813]
  圧縮率の高い中間層における特徴再生のための補助分類器自動エンコーダ(ACAE)モジュールを提案する。 画像あたりのメモリフットプリントの低減により、リプレイの例を多く保存できます。 実験では,オンライン連続学習環境下でタスク非依存評価を行う。
  論文  参考訳（メタデータ） (2021-05-18T15:27:51Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。