論文の概要: Online Continual Learning under Extreme Memory Constraints

• arxiv url: http://arxiv.org/abs/2008.01510v3
• Date: Wed, 12 Jan 2022 14:09:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 23:37:43.461730
• Title: Online Continual Learning under Extreme Memory Constraints
• Title（参考訳）: 極端記憶制約下におけるオンライン連続学習
• Authors: Enrico Fini, St\'ephane Lathuili\`ere, Enver Sangineto, Moin Nabi, Elisa Ricci
• Abstract要約: メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。 MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。 正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
• 参考スコア（独自算出の注目度）: 40.80045285324969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) aims to develop agents emulating the human ability to sequentially learn new tasks while being able to retain knowledge obtained from past experiences. In this paper, we introduce the novel problem of Memory-Constrained Online Continual Learning (MC-OCL) which imposes strict constraints on the memory overhead that a possible algorithm can use to avoid catastrophic forgetting. As most, if not all, previous CL methods violate these constraints, we propose an algorithmic solution to MC-OCL: Batch-level Distillation (BLD), a regularization-based CL approach, which effectively balances stability and plasticity in order to learn from data streams, while preserving the ability to solve old tasks through distillation. Our extensive experimental evaluation, conducted on three publicly available benchmarks, empirically demonstrates that our approach successfully addresses the MC-OCL problem and achieves comparable accuracy to prior distillation methods requiring higher memory overhead.
• Abstract（参考訳）: 継続学習(continual learning, cl)は、過去の経験から得られた知識を保ちながら、新しいタスクを順次学習する能力を模倣するエージェントを開発することを目的としている。 本稿では,メモリオーバヘッドに厳格な制約を課す,メモリ制約付きオンライン連続学習(mc-ocl)の新たな問題を提案する。 データストリームから学ぶために、安定性と可塑性を効果的にバランスさせながら、蒸留によって古いタスクを解決することができる正規化ベースのclアプローチである、バッチレベル蒸留(bld)である。 提案手法がmc-ocl問題に対して有効であることを実証し,高いメモリオーバヘッドを必要とする先行蒸留法と同等の精度を達成することを実証した。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Forward-Backward Knowledge Distillation for Continual Clustering [14.234785944941672]
  教師なし連続学習(Unsupervised Continual Learning, UCL)は、ニューラルネットワークが明確なラベル情報なしでタスクをシーケンシャルに学習できるようにすることに焦点を当てた、機械学習の急成長分野である。 破滅的フォーッティング(CF)は、特にラベル付きデータの情報がアクセスできないUCLにおいて、継続的な学習において重要な課題となる。 本研究では,Unsupervised Continual Clustering (UCC) の概念を導入し,各種タスクを対象としたクラスタリングにおける性能向上とメモリ効率の向上を図った。
  論文  参考訳（メタデータ） (2024-05-29T16:13:54Z)
• Overcoming Domain Drift in Online Continual Learning [24.86094018430407]
  オンライン連続学習(OCL)は、機械学習モデルに一連のタスクで新しい知識をオンラインで取得する権限を与える。 OCLは、破滅的な忘れをし、以前のタスクで学んだモデルは、新しいタスクに遭遇したときに実質的に上書きされる、という大きな課題に直面します。 本稿では,古いタスクのドメインを固定し,負の転送効果を低減するための新しいリハーサル戦略であるDrift-Reducing Rehearsal(DRR)を提案する。
  論文  参考訳（メタデータ） (2024-05-15T06:57:18Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Dirichlet Generative-based Rehearsal [22.314195832409755]
  本稿では,タスク指向対話システムのための新しい生成型リハーサル戦略であるDirichlet Continual Learningを紹介する。 また,ロジットに基づく堅牢な知識蒸留法であるJensen-Shannon Knowledge Distillation (JSKD)についても紹介する。 本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2023-09-13T12:30:03Z)
• CCL: Continual Contrastive Learning for LiDAR Place Recognition [5.025654873456756]
  現在のディープラーニングベースの手法は、一般化能力の低下と破滅的な忘れ込みに悩まされている。 破滅的な忘れの問題に対処するために,CCLという連続的なコントラスト学習手法を提案する。 本手法は,最先端の継続的学習法よりも優れた環境下での異なる手法の性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2023-03-24T12:14:54Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。