論文の概要: Prototypes-Guided Memory Replay for Continual Learning

• arxiv url: http://arxiv.org/abs/2108.12641v1
• Date: Sat, 28 Aug 2021 13:00:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 14:32:26.325227
• Title: Prototypes-Guided Memory Replay for Continual Learning
• Title（参考訳）: 連続学習のためのプロトタイプ誘導メモリリプレイ
• Authors: Stella Ho, Ming Liu, Lan Du, Longxiang Gao and Yong Xiang
• Abstract要約: 継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。 CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。 オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
• 参考スコア（独自算出の注目度）: 13.459792148030717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) refers to a machine learning paradigm that using only a small account of training samples and previously learned knowledge to enhance learning performance. CL models learn tasks from various domains in a sequential manner. The major difficulty in CL is catastrophic forgetting of previously learned tasks, caused by shifts in data distributions. The existing CL models often employ a replay-based approach to diminish catastrophic forgetting. Most CL models stochastically select previously seen samples to retain learned knowledge. However, occupied memory size keeps enlarging along with accumulating learned tasks. Hereby, we propose a memory-efficient CL method. We devise a dynamic prototypes-guided memory replay module, incorporating it into an online meta-learning model. We conduct extensive experiments on text classification and additionally investigate the effect of training set orders on CL model performance. The experimental results testify the superiority of our method in alleviating catastrophic forgetting and enabling efficient knowledge transfer.
• Abstract（参考訳）: 継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。 CLモデルは、様々なドメインから連続的にタスクを学習する。 CLの最大の困難は、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。 既存のCLモデルは、しばしば破滅的な忘れを抑えるためにリプレイベースのアプローチを採用する。 ほとんどのCLモデルは、学習知識を保持するために、前に見たサンプルを確率的に選択する。 しかし、占有メモリサイズは学習タスクの蓄積とともに拡大し続ける。 本稿ではメモリ効率のよいcl法を提案する。 我々は動的プロトタイプによるメモリリプレイモジュールを考案し,それをオンラインメタラーニングモデルに組み込む。 テキスト分類に関する広範な実験を行い,clモデル性能に対する集合順序の訓練の効果についても検討した。 実験により, 破滅的忘れを緩和し, 効率的な知識伝達を可能にする方法の優位性を検証した。

関連論文リスト

• Slowing Down Forgetting in Continual Learning [20.57872238271025]
  継続的学習(CL)における一般的な課題は、新しいタスクが学習された後に古いタスクのパフォーマンスが落ちることを忘れることである。 本稿では,ReCLと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:19:28Z)
• Detecting Morphing Attacks via Continual Incremental Training [10.796380524798744]
  近年の継続学習(CL)パラダイムは,複数のサイトを通したインクリメンタルトレーニングを実現する上で,効果的なソリューションである可能性がある。 本稿では,このシナリオにおける異なる連続学習手法の性能について検討し,可変サイズであっても,新しいデータチャンクが利用できる度に更新される学習モデルをシミュレートする。 実験結果から,特定のCL手法,すなわちLawF(Learning without Forgetting)が最良性能アルゴリズムの1つであることが判明した。
  論文  参考訳（メタデータ） (2023-07-27T17:48:29Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Continual Learning with Strong Experience Replay [32.154995019080594]
  SER(Strong Experience Replay)を用いたCL法を提案する。 SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。 複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T02:42:54Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。