論文の概要: Integrating Curricula with Replays: Its Effects on Continual Learning

• arxiv url: http://arxiv.org/abs/2307.05747v2
• Date: Tue, 25 Jul 2023 15:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 20:20:43.583504
• Title: Integrating Curricula with Replays: Its Effects on Continual Learning
• Title（参考訳）: リプレイとカリキュラムの統合:連続学習への影響
• Authors: Ren Jie Tee and Mengmi Zhang
• Abstract要約: 人間は、新しいスキルや知識を得る際に、カリキュラムを使って学習とレビューを行う。 目標は、人間の学習プロセスをエミュレートし、知識の保持を改善し、学習の伝達を容易にすることである。 継続学習エージェントにおける既存のリプレイ手法には、以前のタスクからのデータのランダムな選択と順序付けが含まれる。
• 参考スコア（独自算出の注目度）: 3.2489082010225494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans engage in learning and reviewing processes with curricula when acquiring new skills or knowledge. This human learning behavior has inspired the integration of curricula with replay methods in continual learning agents. The goal is to emulate the human learning process, thereby improving knowledge retention and facilitating learning transfer. Existing replay methods in continual learning agents involve the random selection and ordering of data from previous tasks, which has shown to be effective. However, limited research has explored the integration of different curricula with replay methods to enhance continual learning. Our study takes initial steps in examining the impact of integrating curricula with replay methods on continual learning in three specific aspects: the interleaved frequency of replayed exemplars with training data, the sequence in which exemplars are replayed, and the strategy for selecting exemplars into the replay buffer. These aspects of curricula design align with cognitive psychology principles and leverage the benefits of interleaved practice during replays, easy-to-hard rehearsal, and exemplar selection strategy involving exemplars from a uniform distribution of difficulties. Based on our results, these three curricula effectively mitigated catastrophic forgetting and enhanced positive knowledge transfer, demonstrating the potential of curricula in advancing continual learning methodologies. Our code and data are available: https://github.com/ZhangLab-DeepNeuroCogLab/Integrating-Curricula-with-Replays
• Abstract（参考訳）: 人間は、新しいスキルや知識を得る際に、キュリキュラでプロセスを学習し、レビューする。 この人間の学習行動は、連続学習エージェントにおけるカリキュラムと再生方法の統合にインスピレーションを与えている。 目標は、人間の学習プロセスをエミュレートし、知識の保持を改善し、学習の伝達を促進することである。 継続学習エージェントにおける既存のリプレイ手法では、前タスクからのデータのランダムな選択と順序付けが有効であることが示されている。 しかし、継続学習を強化するためのリプレイ手法と異なるカリキュラムの統合について限定的な研究がなされている。 本研究は,リプレイ法とリプレイ法が連続学習に与える影響を,学習データとリプレイ例のインターリーブ頻度,例題をリプレイするシーケンス,例題をリプレイバッファに選択する戦略の3つの点で検討する。 キュリキュラデザインのこれらの側面は認知心理学の原則と整合し、リプレイ中のインターリーブドプラクティスの利点、簡単でハードなリハーサル、そして難易度の一様分布からの模範的選択戦略を活用する。 以上の結果から,これら3つのカリキュラムは,継続学習手法の進歩におけるカリキュラムの可能性を実証し,破滅的な記憶とポジティブな知識伝達を効果的に緩和した。 私たちのコードとデータは、https://github.com/zhanglab-deepneurocoglab/integrating-curricula-with-replaysで利用可能です。

関連論文リスト

• Practical Recommendations for Replay-based Continual Learning Methods [18.559132470835937]
  継続学習では、以前の知識を忘れることなく、動的で非定常的なデータのストリームからモデルを学習する必要がある。 リプレイアプローチが最も効果的であることが実証的に証明されている。
  論文  参考訳（メタデータ） (2022-03-19T12:44:44Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Augmenting Policy Learning with Routines Discovered from a Demonstration [86.9307760606403]
  日常的な政策学習(RAPL)を提案する。 RAPLは1つのデモから原始的なアクションからなるルーチンを発見する。 RAPLが最先端の模倣学習方法SQILと強化学習方法A2Cを改善することを示した。
  論文  参考訳（メタデータ） (2020-12-23T03:15:21Z)
• Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
  強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。 近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。 転校学習は 強化学習が直面する様々な課題に 対処するために生まれました
  論文  参考訳（メタデータ） (2020-09-16T18:38:54Z)
• Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
  本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
  論文  参考訳（メタデータ） (2020-09-10T14:36:38Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。