論文の概要: Practical Recommendations for Replay-based Continual Learning Methods

• arxiv url: http://arxiv.org/abs/2203.10317v1
• Date: Sat, 19 Mar 2022 12:44:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 18:17:02.899756
• Title: Practical Recommendations for Replay-based Continual Learning Methods
• Title（参考訳）: リプレイ型連続学習手法の実践的勧告
• Authors: Gabriele Merlin and Vincenzo Lomonaco and Andrea Cossu and Antonio Carta and Davide Bacciu
• Abstract要約: 継続学習では、以前の知識を忘れることなく、動的で非定常的なデータのストリームからモデルを学習する必要がある。 リプレイアプローチが最も効果的であることが実証的に証明されている。
• 参考スコア（独自算出の注目度）: 18.559132470835937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning requires the model to learn from a stream of dynamic, non-stationary data without forgetting previous knowledge. Several approaches have been developed in the literature to tackle the Continual Learning challenge. Among them, Replay approaches have empirically proved to be the most effective ones. Replay operates by saving some samples in memory which are then used to rehearse knowledge during training in subsequent tasks. However, an extensive comparison and deeper understanding of different replay implementation subtleties is still missing in the literature. The aim of this work is to compare and analyze existing replay-based strategies and provide practical recommendations on developing efficient, effective and generally applicable replay-based strategies. In particular, we investigate the role of the memory size value, different weighting policies and discuss about the impact of data augmentation, which allows reaching better performance with lower memory sizes.
• Abstract（参考訳）: 継続学習では、以前の知識を忘れることなく、動的で静止しないデータのストリームからモデルを学習する必要がある。 連続的な学習課題に取り組むために、文献でいくつかのアプローチが開発されている。 その中でも、リプレイアプローチが最も効果的であることが実証されている。 リプレイは、いくつかのサンプルをメモリに保存し、その後のタスクでトレーニング中に知識をリハーサルするために使用される。 しかし、異なるリプレイ実装に関する広範囲な比較と深い理解は、文献にはまだ欠けている。 本研究の目的は,既存のリプレイベース戦略を比較分析し,効率的かつ効果的かつ汎用的に適用可能なリプレイベース戦略を開発するための実践的勧告を提供することである。 特に、メモリサイズ値の役割、重み付けポリシーの違い、データ拡張の影響について検討し、より少ないメモリサイズでパフォーマンスを達成することを可能にする。

関連論文リスト

• AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning [16.457330925212606]
  持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。 AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。 結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-08-07T01:25:45Z)
• Integrating Curricula with Replays: Its Effects on Continual Learning [3.2489082010225494]
  人間は、新しいスキルや知識を得る際に、カリキュラムを使って学習とレビューを行う。 目標は、人間の学習プロセスをエミュレートし、知識の保持を改善し、学習の伝達を容易にすることである。 継続学習エージェントにおける既存のリプレイ手法には、以前のタスクからのデータのランダムな選択と順序付けが含まれる。
  論文  参考訳（メタデータ） (2023-07-08T14:14:55Z)
• Continual Learning with Strong Experience Replay [32.154995019080594]
  SER(Strong Experience Replay)を用いたCL法を提案する。 SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。 複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T02:42:54Z)
• A baseline on continual learning methods for video action recognition [15.157938674002793]
  継続学習は、古典的な教師付きモデルの長期的制限を解決することを目的としている。 本稿では,映像行動認識における最先端の連続学習手法のベンチマークを示す。
  論文  参考訳（メタデータ） (2023-04-20T14:20:43Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Replay For Safety [51.11953997546418]
  経験的なリプレイでは、過去の遷移はメモリバッファに格納され、学習中に再使用される。 適切なバイアスサンプリング方式を用いることで,エファンセーフなポリシーを実現できることを示す。
  論文  参考訳（メタデータ） (2021-12-08T11:10:57Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Revisiting Fundamentals of Experience Replay [91.24213515992595]
  本稿では,Q-ラーニング手法における経験リプレイの体系的および広範囲な分析について述べる。 我々は、リプレイ能力と、収集した経験に対する学習更新率の2つの基本特性に焦点を当てた。
  論文  参考訳（メタデータ） (2020-07-13T21:22:17Z)
• Experience Replay with Likelihood-free Importance Weights [123.52005591531194]
  本研究は,現在の政策の定常分布下での経験を生かし,その可能性に基づいて,その経験を再評価することを提案する。 提案手法は,ソフトアクタ批判 (SAC) とツイン遅延Deep Deterministic Policy gradient (TD3) の2つの競合手法に実証的に適用する。
  論文  参考訳（メタデータ） (2020-06-23T17:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。