論文の概要: Sample Condensation in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2206.11849v1
• Date: Thu, 23 Jun 2022 17:23:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 12:42:59.515701
• Title: Sample Condensation in Online Continual Learning
• Title（参考訳）: オンライン連続学習におけるサンプル凝縮
• Authors: Mattia Sangermano, Antonio Carta, Andrea Cossu, Davide Bacciu
• Abstract要約: オンライン連続学習は、モデルが非定常的なデータストリームから学ぶ必要がある、困難な学習シナリオである。 我々は,知識凝縮技術を用いて連続的にメモリを圧縮する新しいリプレイ型連続学習戦略であるOLCGMを提案する。
• 参考スコア（独自算出の注目度）: 13.041782266237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online Continual learning is a challenging learning scenario where the model must learn from a non-stationary stream of data where each sample is seen only once. The main challenge is to incrementally learn while avoiding catastrophic forgetting, namely the problem of forgetting previously acquired knowledge while learning from new data. A popular solution in these scenario is to use a small memory to retain old data and rehearse them over time. Unfortunately, due to the limited memory size, the quality of the memory will deteriorate over time. In this paper we propose OLCGM, a novel replay-based continual learning strategy that uses knowledge condensation techniques to continuously compress the memory and achieve a better use of its limited size. The sample condensation step compresses old samples, instead of removing them like other replay strategies. As a result, the experiments show that, whenever the memory budget is limited compared to the complexity of the data, OLCGM improves the final accuracy compared to state-of-the-art replay strategies.
• Abstract（参考訳）: オンライン連続学習は、モデルが非定常なデータストリームから学び、各サンプルが一度しか見ることができない、難しい学習シナリオである。 主な課題は、破滅的な忘れることを避けながら段階的に学習すること、すなわち、新しいデータから学びながら、事前に獲得した知識を忘れてしまう問題である。 このようなシナリオで一般的な解決策は、小さなメモリを使って古いデータを保存し、時間とともにリハーサルすることだ。 残念ながら、メモリサイズが制限されているため、メモリの品質は時間とともに低下する。 本稿では,知識凝縮技術を用いて連続的に記憶を圧縮し,その限られたサイズをより有効活用する,新しいリプレイ型連続学習戦略 olcgm を提案する。 サンプル凝縮ステップは、古いサンプルを他の再生戦略のように取り除くのではなく、圧縮する。 その結果,データの複雑さに対してメモリ予算が制限される場合,olcgmは最先端のリプレイ戦略と比較して最終精度が向上することを示した。

関連論文リスト

• Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
  連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。 本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。 提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-17T16:26:33Z)
• Lifelong Event Detection with Embedding Space Separation and Compaction [30.05158209938146]
  既存のイベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。 メモリデータと新しいタスクサンプルの単純な組み合わせは、以前取得した知識をかなり忘れてしまう可能性がある。 本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T06:51:49Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Summarizing Stream Data for Memory-Constrained Online Continual Learning [17.40956484727636]
  本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。 計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
  論文  参考訳（メタデータ） (2023-05-26T05:31:51Z)
• Adiabatic replay for continual learning [138.7878582237908]
  生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。 我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。 VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-23T10:18:06Z)
• Semiparametric Language Models Are Scalable Continual Learners [83.74414880208334]
  セミパラメトリック言語モデル(LM)は、新しいテキストデータから継続的に学習する上で有望であることを示す。 Selective Memorization(SeMem)と呼ばれるシンプルで直感的なアプローチを提案する。 SeMemは、モデルが苦労する可能性のある難しいサンプルのみを記憶している。
  論文  参考訳（メタデータ） (2023-03-02T17:15:02Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Queried Unlabeled Data Improves and Robustifies Class-Incremental Learning [133.39254981496146]
  クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。 我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。 CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
  論文  参考訳（メタデータ） (2022-06-15T22:53:23Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。