論文の概要: Task-Core Memory Management and Consolidation for Long-term Continual Learning

• arxiv url: http://arxiv.org/abs/2505.09952v1
• Date: Thu, 15 May 2025 04:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.182608
• Title: Task-Core Memory Management and Consolidation for Long-term Continual Learning
• Title（参考訳）: 長期学習のためのタスクコアメモリ管理と統合
• Authors: Tianyu Huai, Jie Zhou, Yuxuan Cai, Qin Chen, Wen Wu, Xingjiao Wu, Xipeng Qiu, Liang He,
• Abstract要約: 我々は、長期連続学習(CL)タスクに焦点を合わせ、時間とともに膨大なタスクのストリームからモデルを逐次学習する。 従来のCL設定とは異なり、長期CLははるかに多くのタスクを処理し、破滅的な忘れ込みの問題を悪化させる。 長期連続学習(Long-CL)のための人間の記憶機構に着想を得た新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 62.880988004687815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we focus on a long-term continual learning (CL) task, where a model learns sequentially from a stream of vast tasks over time, acquiring new knowledge while retaining previously learned information in a manner akin to human learning. Unlike traditional CL settings, long-term CL involves handling a significantly larger number of tasks, which exacerbates the issue of catastrophic forgetting. Our work seeks to address two critical questions: 1) How do existing CL methods perform in the context of long-term CL? and 2) How can we mitigate the catastrophic forgetting that arises from prolonged sequential updates? To tackle these challenges, we propose a novel framework inspired by human memory mechanisms for long-term continual learning (Long-CL). Specifically, we introduce a task-core memory management strategy to efficiently index crucial memories and adaptively update them as learning progresses. Additionally, we develop a long-term memory consolidation mechanism that selectively retains hard and discriminative samples, ensuring robust knowledge retention. To facilitate research in this area, we construct and release two multi-modal and textual benchmarks, MMLongCL-Bench and TextLongCL-Bench, providing a valuable resource for evaluating long-term CL approaches. Experimental results show that Long-CL outperforms the previous state-of-the-art by 7.4\% and 6.5\% AP on the two benchmarks, respectively, demonstrating the effectiveness of our approach.
• Abstract（参考訳）: 本稿では,長期連続学習(CL)タスクに着目し,モデルが時間とともに膨大なタスクのストリームから逐次学習し,従来の学習情報を人間の学習に似た方法で保持しながら,新たな知識を習得する。 従来のCL設定とは異なり、長期CLははるかに多くのタスクを処理し、破滅的な忘れ込みの問題を悪化させる。 私たちの研究は2つの重要な問題に対処しようとしています。 1)既存のCLメソッドは長期CLの文脈でどのように機能するのか? そして 2) 長期にわたる逐次更新から生じる破滅的な忘れを緩和するにはどうすればいいのか? これらの課題に対処するために,長期連続学習(Long-CL)のための人間の記憶機構に着想を得た新しい枠組みを提案する。 具体的には,重要な記憶を効率よくインデックス化し,学習が進むにつれてそれを適応的に更新するタスクコアメモリ管理戦略を導入する。 さらに,ハードおよび差別的なサンプルを選択的に保持し,堅牢な知識保持を確保する長期記憶統合機構を開発する。 この領域の研究を容易にするため、MMLongCL-BenchとTextLongCL-Benchという2つのマルチモーダルおよびテキストベンチマークを構築し、リリースする。 実験の結果,Long-CLは2つのベンチマークでそれぞれ7.4\%,6.5\%のAPよりも優れており,提案手法の有効性が示された。

関連論文リスト

• In-context Continual Learning Assisted by an External Continual Learner [19.382196203113836]
  既存の継続学習(CL)手法は、大規模言語モデル(LLM)の微調整や適応に頼っている。 InCAは、外部連続学習者(ECL)をICLと統合し、CFなしでスケーラブルなCLを実現する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-12-20T04:44:41Z)
• Slowing Down Forgetting in Continual Learning [20.57872238271025]
  継続的学習(CL)における一般的な課題は、新しいタスクが学習された後に古いタスクのパフォーマンスが落ちることを忘れることである。 本稿では,ReCLと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:19:28Z)
• Active Continual Learning: On Balancing Knowledge Retention and Learnability [43.6658577908349]
  一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。 本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。 ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
  論文  参考訳（メタデータ） (2023-05-06T04:11:03Z)
• SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Efficient Continual Learning with Modular Networks and Task-Driven Priors [31.03712334701338]
  継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。 新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。 学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2020-12-23T12:42:16Z)
• Online Continual Learning under Extreme Memory Constraints [40.80045285324969]
  メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。 MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。 正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
  論文  参考訳（メタデータ） (2020-08-04T13:25:26Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Sequential Recommender via Time-aware Attentive Memory Network [67.26862011527986]
  本稿では,注意機構と繰り返し単位を改善するための時間ゲーティング手法を提案する。 また,長期と短期の嗜好を統合するマルチホップ・タイムアウェア・アテンテーティブ・メモリ・ネットワークを提案する。 提案手法は,候補探索タスクに対してスケーラブルであり,ドット積に基づくTop-Kレコメンデーションのための潜在因数分解の非線形一般化とみなすことができる。
  論文  参考訳（メタデータ） (2020-05-18T11:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。