論文の概要: Summarizing Stream Data for Memory-Constrained Online Continual Learning

• arxiv url: http://arxiv.org/abs/2305.16645v2
• Date: Tue, 9 Jan 2024 06:16:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 20:20:51.507057
• Title: Summarizing Stream Data for Memory-Constrained Online Continual Learning
• Title（参考訳）: メモリ制約付きオンライン連続学習のためのストリームデータ要約
• Authors: Jianyang Gu, Kai Wang, Wei Jiang, Yang You
• Abstract要約: 本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。 計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
• 参考スコア（独自算出の注目度）: 17.40956484727636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Replay-based methods have proved their effectiveness on online continual learning by rehearsing past samples from an auxiliary memory. With many efforts made on improving training schemes based on the memory, however, the information carried by each sample in the memory remains under-investigated. Under circumstances with restricted storage space, the informativeness of the memory becomes critical for effective replay. Although some works design specific strategies to select representative samples, by only employing a small number of original images, the storage space is still not well utilized. To this end, we propose to Summarize the knowledge from the Stream Data (SSD) into more informative samples by distilling the training characteristics of real images. Through maintaining the consistency of training gradients and relationship to the past tasks, the summarized samples are more representative for the stream data compared to the original images. Extensive experiments are conducted on multiple online continual learning benchmarks to support that the proposed SSD method significantly enhances the replay effects. We demonstrate that with limited extra computational overhead, SSD provides more than 3% accuracy boost for sequential CIFAR-100 under extremely restricted memory buffer. Code in https://github.com/vimar-gu/SSD.
• Abstract（参考訳）: リプレイベースの手法は、過去のサンプルを補助記憶からリハーサルすることで、オンライン連続学習における効果を証明している。 しかし、メモリに基づいたトレーニングスキームの改善に多くの努力を払っているため、メモリの各サンプルが保持する情報は未検討のままである。 ストレージ空間が制限された状況下では、メモリのインフォメーション性が効果的なリプレイに不可欠となる。 代表的なサンプルを選択するための特定の戦略をデザインする作業もあるが、少数のオリジナルイメージのみを使用することで、ストレージスペースは未だ十分に活用されていない。 そこで本研究では,実画像のトレーニング特性を抽出することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約する。 トレーニング勾配の一貫性と過去のタスクとの関係を維持することにより、要約されたサンプルは、元の画像よりもストリームデータに代表される。 複数のオンライン連続学習ベンチマークにおいて,提案手法がリプレイ効果を著しく向上させるため,大規模な実験を行った。 計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。 コード: https://github.com/vimar-gu/ssd。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Improving Task-free Continual Learning by Distributionally Robust Memory Evolution [9.345559196495746]
  タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。 既存の手法は、メモリデータ分布における高い不確実性を見落としている。 本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-15T02:16:09Z)
• Sample Condensation in Online Continual Learning [13.041782266237]
  オンライン連続学習は、モデルが非定常的なデータストリームから学ぶ必要がある、困難な学習シナリオである。 我々は,知識凝縮技術を用いて連続的にメモリを圧縮する新しいリプレイ型連続学習戦略であるOLCGMを提案する。
  論文  参考訳（メタデータ） (2022-06-23T17:23:42Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• ACAE-REMIND for Online Continual Learning with Compressed Feature Replay [47.73014647702813]
  圧縮率の高い中間層における特徴再生のための補助分類器自動エンコーダ(ACAE)モジュールを提案する。 画像あたりのメモリフットプリントの低減により、リプレイの例を多く保存できます。 実験では,オンライン連続学習環境下でタスク非依存評価を行う。
  論文  参考訳（メタデータ） (2021-05-18T15:27:51Z)
• Rainbow Memory: Continual Learning with a Memory of Diverse Samples [14.520337285540148]
  エピソード記憶におけるサンプルの多様性の重要性を論じる。 サンプル毎の分類不確実性およびデータ拡張に基づく新しいメモリ管理戦略を提案する。 提案手法は,ぼやけた連続学習装置の精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-03-31T17:28:29Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。