論文の概要: Rehearsal revealed: The limits and merits of revisiting samples in continual learning

• arxiv url: http://arxiv.org/abs/2104.07446v1
• Date: Thu, 15 Apr 2021 13:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:10:59.200526
• Title: Rehearsal revealed: The limits and merits of revisiting samples in continual learning
• Title（参考訳）: リハーサル:継続学習におけるサンプルの再検討の限界とメリット
• Authors: Eli Verwimp, Matthias De Lange, Tinne Tuytelaars
• Abstract要約: 我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。 リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
• 参考スコア（独自算出の注目度）: 43.40531878205344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from non-stationary data streams and overcoming catastrophic forgetting still poses a serious challenge for machine learning research. Rather than aiming to improve state-of-the-art, in this work we provide insight into the limits and merits of rehearsal, one of continual learning's most established methods. We hypothesize that models trained sequentially with rehearsal tend to stay in the same low-loss region after a task has finished, but are at risk of overfitting on its sample memory, hence harming generalization. We provide both conceptual and strong empirical evidence on three benchmarks for both behaviors, bringing novel insights into the dynamics of rehearsal and continual learning in general. Finally, we interpret important continual learning works in the light of our findings, allowing for a deeper understanding of their successes.
• Abstract（参考訳）: 非定常的なデータストリームから学び、破滅的な忘れを乗り越えることはまだ、機械学習研究にとって深刻な課題だ。 この研究は、最先端技術の改善を目指すのではなく、継続的な学習の最も確立された方法の一つであるリハーサルの限界とメリットについての洞察を提供する。 我々は、リハーサルで逐次訓練されたモデルは、タスク完了後に同じ低損失領域に留まる傾向にあるが、サンプルメモリに過度に適合し、一般化を損なうリスクがあると仮定する。 両行動の3つのベンチマークに関する概念的および強い実証的証拠を提供し、リハーサルと継続学習のダイナミクスに新たな洞察をもたらす。 最後に,研究成果に照らして,継続学習の重要な成果を解釈し,その成果をより深く理解する。

関連論文リスト

• Forgetting Order of Continual Learning: Examples That are Learned First are Forgotten Last [44.31831689984837]
  破滅的な忘れ物は、継続的な学習において重要な課題となる。 早期に学んだ例は、ほとんど忘れられませんが、後で学んだ例は、忘れることにより敏感です。 我々はGoldilocksを紹介した。これは新しいリプレイバッファサンプリング手法で、学習したサンプルを高速あるいは遅すぎるとフィルタリングし、学習を中間的な速度で維持する。
  論文  参考訳（メタデータ） (2024-06-14T11:31:12Z)
• BrainWash: A Poisoning Attack to Forget in Continual Learning [22.512552596310176]
  ブレインウォッシュ(BrainWash)は、連続学習者に忘れを強いるための新しいデータ中毒法である。 このアプローチの重要な特徴は、アタッカーが以前のタスクのデータにアクセスする必要がなくなることです。 実験では,BrainWashの有効性を強調し,各種正規化に基づく連続学習手法における性能劣化を示す。
  論文  参考訳（メタデータ） (2023-11-20T18:26:01Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Class-Incremental Continual Learning into the eXtended DER-verse [17.90483695137098]
  この研究は、我々の以前の提案であるDark Experience Replay(DER)の落とし穴を評価し、克服することを目的としています。 過去の記憶を常に書き直し、将来への期待を設定する方法に刺激されて、過去のデータに関する新しい情報を歓迎するために、リプレイ記憶を改訂する能力を備えたモデルを作りました。 これらの戦略の適用により、顕著な改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-01-03T17:14:30Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。