論文の概要: Sequencing to Mitigate Catastrophic Forgetting in Continual Learning

• arxiv url: http://arxiv.org/abs/2512.16871v1
• Date: Thu, 18 Dec 2025 18:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.214558
• Title: Sequencing to Mitigate Catastrophic Forgetting in Continual Learning
• Title（参考訳）: 連続学習におけるカタストロフィック・フォーミングを緩和するためのシークエンシング
• Authors: Hesham G. Moussa, Aroosa Hameed, Arashmid Akhavain,
• Abstract要約: 破滅的な忘れ(CF)は継続的学習アプローチの進歩にとって大きな課題である。 CFの緩和におけるタスクシークエンシングの役割を考察し、最適なタスク順序を決定する方法を提案する。 その結果、インテリジェントなタスクシークエンシングはCFを大幅に削減できることが示された。
• 参考スコア（独自算出の注目度）: 1.1724961392643483
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To cope with real-world dynamics, an intelligent system needs to incrementally acquire, update, and exploit knowledge throughout its lifetime. This ability, known as Continual learning, provides a foundation for AI systems to develop themselves adaptively. Catastrophic forgetting is a major challenge to the progress of Continual Learning approaches, where learning a new task usually results in a dramatic performance drop on previously learned ones. Many approaches have emerged to counteract the impact of CF. Most of the proposed approaches can be categorized into five classes: replay-based, regularization-based, optimization-based, representation-based, and architecture-based. In this work, we approach the problem from a different angle, specifically by considering the optimal sequencing of tasks as they are presented to the model. We investigate the role of task sequencing in mitigating CF and propose a method for determining the optimal task order. The proposed method leverages zero-shot scoring algorithms inspired by neural architecture search (NAS). Results demonstrate that intelligent task sequencing can substantially reduce CF. Moreover, when combined with traditional continual learning strategies, sequencing offers enhanced performance and robustness against forgetting. Additionally, the presented approaches can find applications in other fields, such as curriculum learning.
• Abstract（参考訳）: 現実世界のダイナミクスに対処するためには、インテリジェントなシステムは生涯を通じて段階的に知識を取得し、更新し、活用する必要がある。 この能力は連続学習と呼ばれ、AIシステムが適応的に開発するための基盤を提供する。 破滅的な忘れは、継続的に学習するアプローチの大きな課題であり、そこでは、新しいタスクを学ぶことは、通常、以前学んだものに対して劇的なパフォーマンス低下をもたらす。 多くのアプローチがCFの影響に対抗するために現れている。 提案されたアプローチのほとんどは、リプレイベース、正規化ベース、最適化ベース、表現ベース、アーキテクチャベースという5つのクラスに分類される。 本研究では,モデルに提示されるタスクの最適なシークエンシングを考慮し,問題を異なる角度からアプローチする。 CFの緩和におけるタスクシークエンシングの役割について検討し、最適なタスク順序を決定する方法を提案する。 提案手法はニューラルアーキテクチャサーチ(NAS)にインスパイアされたゼロショットスコアリングアルゴリズムを利用する。 その結果、インテリジェントなタスクシークエンシングはCFを大幅に削減できることが示された。 さらに、従来の継続的学習戦略と組み合わせることで、シークエンシングは性能の向上と、忘れることに対する堅牢性を提供する。 さらに、提示されたアプローチは、カリキュラム学習など、他の分野のアプリケーションを見つけることができる。

関連論文リスト

• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning [6.738409533239947]
  深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れに苦しむ。 最近のアプローチでは、勾配投影を用いた部分空間の更新が制限されている。 本稿では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Deep Active Learning with Structured Neural Depth Search [18.180995603975422]
  Active-iNASは、複数のモデルを訓練し、各アクティブラーニングサイクルの後に、その後のサンプルをクエリする最適な一般化性能でモデルを選択する。 本稿では,SVI(Structured Variational Inference)あるいはSNDS(Structured Neural Deep Search)と呼ばれる手法を用いた新しいアクティブ戦略を提案する。 同時に、理論上は、平均場推定に基づく現在のVIベースの手法が性能を低下させる可能性があることを実証している。
  論文  参考訳（メタデータ） (2023-06-05T12:00:12Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Continual Learning Beyond a Single Model [28.130513524601145]
  そこで本研究では,アンサンブルモデルを用いることで,連続的な性能向上を図った。 本稿では,単一モデルに類似した実行時間を持つ計算コストの低いアルゴリズムを提案し,アンサンブルの性能上の利点を享受する。
  論文  参考訳（メタデータ） (2022-02-20T14:30:39Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping [4.5497948012757865]
  本稿では,新しいモデルに基づく強化学習アルゴリズム,Cooperative Prioritized Sweepingを提案する。 このアルゴリズムは、値関数を近似するために因子化を利用することにより、大きな問題に対するサンプル効率の学習を可能にする。 我々の手法は、よく知られたSysAdminベンチマークとランダム化環境の両方において、最先端の協調的なQ-ラーニングアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2020-01-15T19:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。