論文の概要: Do Your Best and Get Enough Rest for Continual Learning
- arxiv url: http://arxiv.org/abs/2503.18371v1
- Date: Mon, 24 Mar 2025 06:08:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:37:50.936082
- Title: Do Your Best and Get Enough Rest for Continual Learning
- Title（参考訳）: 学び続けるために最善を尽くし、十分な休息を得る
- Authors: Hankyul Kang, Gregor Seifer, Donghyun Lee, Jongbin Ryu,
- Abstract要約: 留意曲線理論により、広範囲なデータを学習し、適切な休息を取ることにより、記憶保持を向上させることができる。
学習スケジュールを調整するビューバッチモデルを導入し、同じサンプルの再学習間のリコール間隔を最適化する。
実験により,これらの手法は長期記憶を向上できる忘れ曲線理論と一致していることを示す。
- 参考スコア（独自算出の注目度）: 8.17916139651372
- License:
- Abstract: According to the forgetting curve theory, we can enhance memory retention by learning extensive data and taking adequate rest. This means that in order to effectively retain new knowledge, it is essential to learn it thoroughly and ensure sufficient rest so that our brain can memorize without forgetting. The main takeaway from this theory is that learning extensive data at once necessitates sufficient rest before learning the same data again. This aspect of human long-term memory retention can be effectively utilized to address the continual learning of neural networks. Retaining new knowledge for a long period of time without catastrophic forgetting is the critical problem of continual learning. Therefore, based on Ebbinghaus' theory, we introduce the view-batch model that adjusts the learning schedules to optimize the recall interval between retraining the same samples. The proposed view-batch model allows the network to get enough rest to learn extensive knowledge from the same samples with a recall interval of sufficient length. To this end, we specifically present two approaches: 1) a replay method that guarantees the optimal recall interval, and 2) a self-supervised learning that acquires extensive knowledge from a single training sample at a time. We empirically show that these approaches of our method are aligned with the forgetting curve theory, which can enhance long-term memory. In our experiments, we also demonstrate that our method significantly improves many state-of-the-art continual learning methods in various protocols and scenarios. We open-source this project at https://github.com/hankyul2/ViewBatchModel.
- Abstract（参考訳）: 留意曲線理論により、広範囲なデータを学習し、適切な休息を取ることにより、記憶保持を向上させることができる。
これは、新しい知識を効果的に保持するためには、それを徹底的に学習し、脳が忘れずに記憶できるように十分な休息を確保することが不可欠であることを意味する。
この理論の主な利点は、一度に広範なデータを学ぶことは、同じデータを再び学ぶ前に十分な休息を必要とすることである。
人間の長期記憶保持のこの側面は、ニューラルネットワークの継続的な学習に対処するために効果的に利用することができる。
破滅的な忘れ物なしに長い時間新しい知識を維持することが、継続的な学習の重要な問題である。
そこで,Ebbinghaus理論に基づき,学習スケジュールを調整するビューバッチモデルを導入し,同一サンプルの再学習間のリコール間隔を最適化する。
提案したビューバッチモデルにより、ネットワークは十分な長さのリコール間隔で同じサンプルから広範囲の知識を学習できる。
この目的のために、我々は2つのアプローチを具体的に提示する。
1)最適なリコール間隔を保証する再生方法、及び
2) 一度に1つのトレーニングサンプルから広範な知識を習得する自己指導型学習。
本研究では,これらの手法が,長期記憶を向上する曲線理論と整合していることを実証的に示す。
また,本手法は,様々なプロトコルやシナリオにおいて,最先端の連続学習法を大幅に改善することを示した。
私たちはこのプロジェクトをhttps://github.com/hankyul2/ViewBatchModel.comでオープンソース化しました。
関連論文リスト
- Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。
本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。
提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-17T16:26:33Z) - Continual Learning via Manifold Expansion Replay [36.27348867557826]
破滅的な忘れは継続的な学習にとって大きな課題である。
我々はReplay Manifold Expansion (MaER)と呼ばれる新しいリプレイ戦略を提案する。
提案手法は,連続的な学習設定における精度を著しく向上し,芸術的状況よりも優れることを示す。
論文 参考訳（メタデータ） (2023-10-12T05:09:27Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Learning Fast, Learning Slow: A General Continual Learning Method based
on Complementary Learning System [13.041607703862724]
本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。
決定境界を意味記憶と整合させながら、新たな知識を得る。
提案手法は,標準ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-01-29T15:15:23Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳（メタデータ） (2021-12-31T12:05:22Z) - On the Theory of Reinforcement Learning with Once-per-Episode Feedback [120.5537226120512]
本稿では,エピソード終盤に一度だけフィードバックを受ける強化学習の理論を紹介する。
これは、学習者が毎回フィードバックを受け取るという従来の要件よりも、現実世界のアプリケーションの代表的です。
論文 参考訳（メタデータ） (2021-05-29T19:48:51Z) - Learning to Continually Learn Rapidly from Few and Noisy Data [19.09933805011466]
新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。
過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
論文 参考訳（メタデータ） (2021-03-06T08:29:47Z) - Remembering for the Right Reasons: Explanations Reduce Catastrophic
Forgetting [100.75479161884935]
我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。
RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。
メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
論文 参考訳（メタデータ） (2020-10-04T10:05:27Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳（メタデータ） (2020-07-30T16:00:23Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。
現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。
ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
論文 参考訳（メタデータ） (2020-02-19T13:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。