論文の概要: Forgetting Order of Continual Learning: Examples That are Learned First are Forgotten Last
- arxiv url: http://arxiv.org/abs/2406.09935v1
- Date: Fri, 14 Jun 2024 11:31:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-06-17 14:05:00.607130
- Title: Forgetting Order of Continual Learning: Examples That are Learned First are Forgotten Last
- Title（参考訳）: 連続学習の順序を忘れる:まず学習した例が最後に忘れられる
- Authors: Guy Hacohen, Tinne Tuytelaars,
- Abstract要約: 破滅的な忘れ物は、継続的な学習において重要な課題となる。
早期に学んだ例は、ほとんど忘れられませんが、後で学んだ例は、忘れることにより敏感です。
我々はGoldilocksを紹介した。これは新しいリプレイバッファサンプリング手法で、学習したサンプルを高速あるいは遅すぎるとフィルタリングし、学習を中間的な速度で維持する。
- 参考スコア（独自算出の注目度）: 44.31831689984837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting poses a significant challenge in continual learning, where models often forget previous tasks when trained on new data. Our empirical analysis reveals a strong correlation between catastrophic forgetting and the learning speed of examples: examples learned early are rarely forgotten, while those learned later are more susceptible to forgetting. We demonstrate that replay-based continual learning methods can leverage this phenomenon by focusing on mid-learned examples for rehearsal. We introduce Goldilocks, a novel replay buffer sampling method that filters out examples learned too quickly or too slowly, keeping those learned at an intermediate speed. Goldilocks improves existing continual learning algorithms, leading to state-of-the-art performance across several image classification tasks.
- Abstract（参考訳）: 破滅的な忘れは継続的な学習において重要な課題となり、新しいデータでトレーニングされた場合、モデルは以前のタスクを忘れることが多い。
私たちの経験的分析では、破滅的な忘れ方と学習速度との間に強い相関関係があることが示されています。
リプレイに基づく連続学習手法は、リハーサルの中間学習例に着目して、この現象を活用できることを実証する。
我々はGoldilocksを紹介した。これは新しいリプレイバッファサンプリング手法で、学習したサンプルを高速あるいは遅すぎるとフィルタリングし、学習を中間的な速度で維持する。
Goldilocksは既存の連続学習アルゴリズムを改善し、複数の画像分類タスクで最先端のパフォーマンスを実現する。
関連論文リスト
- Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。
本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。
提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-17T16:26:33Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。
本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。
実験の結果,本手法は最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-23T01:35:44Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Measuring Forgetting of Memorized Training Examples [80.9188503645436]
機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。
特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。
我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
論文 参考訳（メタデータ） (2022-06-30T20:48:26Z) - Decoupling Knowledge from Memorization: Retrieval-augmented Prompt
Learning [113.58691755215663]
一般化と記憶のバランスをとるためにRetroPromptを開発した。
バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。
大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
論文 参考訳（メタデータ） (2022-05-29T16:07:30Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳（メタデータ） (2021-12-31T12:05:22Z) - Rehearsal revealed: The limits and merits of revisiting samples in
continual learning [43.40531878205344]
我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。
リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
論文 参考訳（メタデータ） (2021-04-15T13:28:14Z) - A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。
次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
論文 参考訳（メタデータ） (2021-04-08T23:40:02Z) - Learning to Continually Learn Rapidly from Few and Noisy Data [19.09933805011466]
新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。
過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
論文 参考訳（メタデータ） (2021-03-06T08:29:47Z) - Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。
現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。
ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
論文 参考訳（メタデータ） (2020-02-19T13:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。