論文の概要: Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning

• arxiv url: http://arxiv.org/abs/2308.01895v1
• Date: Thu, 3 Aug 2023 17:46:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 13:09:58.995635
• Title: Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning
• Title（参考訳）: 連続学習におけるリプレイサンプル選択と記憶能力の向上
• Authors: Daniel Brignac, Niels Lobo, Abhijit Mahalanobis
• Abstract要約: 継続的な学習は、深層学習者が過去のタスクの破滅的な忘れ込みに悩まされることなく、未知の長さの一連のタスクを訓練できるようにすることを目的としている。 1つの効果的な解決策はリプレイであり、メモリにほとんど過去の経験を保存し、現在のタスクを学習する際にそれらをリプレイする。 本研究は, 一般的な貯水池サンプリングと, 様々な代替集団戦略との比較により, これらの課題に対処することを目的としている。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning seeks to enable deep learners to train on a series of tasks of unknown length without suffering from the catastrophic forgetting of previous tasks. One effective solution is replay, which involves storing few previous experiences in memory and replaying them when learning the current task. However, there is still room for improvement when it comes to selecting the most informative samples for storage and determining the optimal number of samples to be stored. This study aims to address these issues with a novel comparison of the commonly used reservoir sampling to various alternative population strategies and providing a novel detailed analysis of how to find the optimal number of stored samples.
• Abstract（参考訳）: 継続的な学習は、深い学習者が過去のタスクを破滅的に忘れることなく、未知の長さの一連のタスクを訓練できるようにする。 1つの効果的な解決策はリプレイであり、メモリにほとんど過去の経験を保存し、現在のタスクを学習する際にそれを再生する。 しかし、記憶のための最も情報性の高いサンプルを選択し、保存すべきサンプルの最適な数を決定することにはまだ改善の余地がある。 本研究の目的は, 広く使用されている貯水池を様々な代替集団戦略と比較し, 最適な貯水池数を求める方法について, より詳細な分析を行うことである。

関連論文リスト

• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Watch Your Step: Optimal Retrieval for Continual Learning at Scale [1.7265013728931]
  連続学習では、モデルは古いタスクと新しいタスクの間の干渉を最小限にしながら、時間とともに漸進的に学習する。 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:35:35Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Continual Learning with Strong Experience Replay [32.154995019080594]
  SER(Strong Experience Replay)を用いたCL法を提案する。 SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。 複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T02:42:54Z)
• How Relevant is Selective Memory Population in Lifelong Language Learning? [15.9310767099639]
  最先端のアプローチは、忘れることを防ぐ主要なアプローチとしてスパース体験のリプレイに依存している。 本研究は,テキスト分類と質問応答タスクの生涯学習過程において,選択記憶人口がどの程度関係があるかを検討する。
  論文  参考訳（メタデータ） (2022-10-03T13:52:54Z)
• A Benchmark and Empirical Analysis for Replay Strategies in Continual Learning [2.922007656878633]
  計算システムは一般に、タスクを逐次学習することができない。 本稿では,メモリ再生手法の詳細な評価を行う。 実験はすべて、さまざまなドメイン下で複数のデータセット上で実施される。
  論文  参考訳（メタデータ） (2022-08-04T13:48:11Z)
• Sample Condensation in Online Continual Learning [13.041782266237]
  オンライン連続学習は、モデルが非定常的なデータストリームから学ぶ必要がある、困難な学習シナリオである。 我々は,知識凝縮技術を用いて連続的にメモリを圧縮する新しいリプレイ型連続学習戦略であるOLCGMを提案する。
  論文  参考訳（メタデータ） (2022-06-23T17:23:42Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。