論文の概要: Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2410.15372v1
• Date: Sun, 20 Oct 2024 12:13:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:32.947638
• Title: Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning
• Title（参考訳）: ハイブリッドメモリの再生: 授業インクリメンタル学習のための実データと蒸留データのブレンディング
• Authors: Jiangtao Kong, Jiacheng Shi, Ashley Gao, Shaohan Hu, Tianyi Zhou, Huajie Shao,
• Abstract要約: インクリメンタルラーニング(IL)は、従来のタスクから学んだ知識を維持しつつ、現在のタスクから新しい知識を取得することを目的としている。 リプレイベースのILメソッドは、以前のタスクをバッファに格納し、新しいタスクを学ぶ際にそれらを再生する。 データ蒸留(DD)は、大規模な実データセットを、より情報に適合した合成例のセットに凝縮することで、模範バッファのサイズを減らすことができる。 本稿では,歴史に残るチェックポイントのスライディングウィンドウから合成データを蒸留するDDの革新的な改良を提案する。
• 参考スコア（独自算出の注目度）: 19.671792951465
• License:
• Abstract: Incremental learning (IL) aims to acquire new knowledge from current tasks while retaining knowledge learned from previous tasks. Replay-based IL methods store a set of exemplars from previous tasks in a buffer and replay them when learning new tasks. However, there is usually a size-limited buffer that cannot store adequate real exemplars to retain the knowledge of previous tasks. In contrast, data distillation (DD) can reduce the exemplar buffer's size, by condensing a large real dataset into a much smaller set of more information-compact synthetic exemplars. Nevertheless, DD's performance gain on IL quickly vanishes as the number of synthetic exemplars grows. To overcome the weaknesses of real-data and synthetic-data buffers, we instead optimize a hybrid memory including both types of data. Specifically, we propose an innovative modification to DD that distills synthetic data from a sliding window of checkpoints in history (rather than checkpoints on multiple training trajectories). Conditioned on the synthetic data, we then optimize the selection of real exemplars to provide complementary improvement to the DD objective. The optimized hybrid memory combines the strengths of synthetic and real exemplars, effectively mitigating catastrophic forgetting in Class IL (CIL) when the buffer size for exemplars is limited. Notably, our method can be seamlessly integrated into most existing replay-based CIL models. Extensive experiments across multiple benchmarks demonstrate that our method significantly outperforms existing replay-based baselines.
• Abstract（参考訳）: インクリメンタルラーニング(IL)は、従来のタスクから学んだ知識を維持しつつ、現在のタスクから新しい知識を取得することを目的としている。 リプレイベースのILメソッドは、以前のタスクをバッファに格納し、新しいタスクを学ぶ際にそれらを再生する。 しかし、通常、以前のタスクの知識を保持するのに十分な実例を保存できないサイズ制限バッファがある。 対照的に、データ蒸留(DD)は、大きな実データセットをより情報に適合した合成例のより小さなセットに凝縮することで、模範バッファのサイズを減らすことができる。 それでも、DDのILに対する性能向上は、合成前駆体の数が増加するにつれて急速に消滅する。 実データと合成データバッファの弱点を克服するために、我々は、両方のタイプのデータを含むハイブリッドメモリを最適化する。 具体的には,歴史におけるチェックポイントのスライディングウィンドウから合成データを蒸留するDDの革新的な修正を提案する(複数のトレーニング軌道上のチェックポイントではなく)。 合成データに基づいて実例の選択を最適化し,DDの目的を補完的に改善する。 最適化されたハイブリッドメモリは、合成前駆体の強度と実際の前駆体の強度を結合し、前駆体のバッファサイズが制限された場合に、クラスIL(CIL)における破滅的忘れを効果的に緩和する。 特に,本手法は既存のリプレイベースCILモデルにシームレスに統合可能である。 複数のベンチマークによる大規模な実験により,提案手法が既存のリプレイベースラインを著しく上回ることを示した。

関連論文リスト

• F-OAL: Forward-only Online Analytic Learning with Fast Training and Low Memory Footprint in Class Incremental Learning [28.772554281694166]
  Online Class Incremental Learning (OCIL)は、ミニバッチにデータが到着し、以前のデータがアクセスできないようなモデルを段階的にトレーニングすることを目的としている。 OCILにおける大きな課題は、カタストロフィック・フォージッティング(Caastrophic Forgetting)、すなわち、以前に学んだ知識の喪失である。 本稿では,前向きのみのオンライン分析学習(F-OAL)を提案する。 従来の方法とは異なり、F-OALはバックプロパゲーションに依存しておらず、フォワードのみであり、メモリ使用量と計算時間を著しく削減している。
  論文  参考訳（メタデータ） (2024-03-23T07:39:13Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental Learning [9.530976792843495]
  データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。 ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-03-22T22:43:20Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Condensed Composite Memory Continual Learning [17.192367229752072]
  ディープニューラルネットワーク(DNN)は、最新のタスクのデータのみが利用可能な一連のタスクでトレーニングされると、パフォーマンスが急速に低下します。 本稿では,完全なデータセットの本質を捉えた,少数の合成例を学習する新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T12:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。