論文の概要: CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning
- arxiv url: http://arxiv.org/abs/2411.15235v2
- Date: Fri, 07 Mar 2025 22:46:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:44:49.628754
- Title: CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning
- Title（参考訳）: CODE-CL:Deep Continual Learningのための概念ベース勾配投影
- Authors: Marco Paul E. Apolinario, Sakshi Choudhary, Kaushik Roy,
- Abstract要約: 深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れに苦しむ。
最近のアプローチでは、勾配投影を用いた部分空間の更新が制限されている。
本稿では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
- 参考スコア（独自算出の注目度）: 6.738409533239947
- License:
- Abstract: Continual learning (CL) - the ability to progressively acquire and integrate new concepts - is essential to intelligent systems to adapt to dynamic environments. However, deep neural networks struggle with catastrophic forgetting (CF) when learning tasks sequentially, as training for new tasks often overwrites previously learned knowledge. To address this, recent approaches constrain updates to orthogonal subspaces using gradient projection, effectively preserving important gradient directions for previous tasks. While effective in reducing forgetting, these approaches inadvertently hinder forward knowledge transfer (FWT), particularly when tasks are highly correlated. In this work, we propose Conceptor-based gradient projection for Deep Continual Learning (CODE-CL), a novel method that leverages conceptor matrix representations, a form of regularized reconstruction, to adaptively handle highly correlated tasks. CODE-CL mitigates CF by projecting gradients onto pseudo-orthogonal subspaces of previous task feature spaces while simultaneously promoting FWT. It achieves this by learning a linear combination of shared basis directions, allowing efficient balance between stability and plasticity and transfer of knowledge between overlapping input feature representations. Extensive experiments on continual learning benchmarks validate CODE-CL's efficacy, demonstrating superior performance, reduced forgetting, and improved FWT as compared to state-of-the-art methods.
- Abstract（参考訳）: 継続的な学習(CL) — 新しい概念を段階的に獲得し、統合する能力 — は、動的環境に適応するために、インテリジェントシステムにとって不可欠である。
しかし、深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れ(CF)に苦しむ。
この問題に対処するため、近年のアプローチでは、勾配投影を用いた直交部分空間の更新を制限し、従来のタスクの重要な勾配方向を効果的に保存している。
忘れを抑える効果はあるものの、特にタスクが高い相関関係にある場合、これらのアプローチは必然的にフォワード・ナレッジ・トランスファー(FWT)を妨げます。
本研究では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
CODE-CLは、FWTを同時に推進しながら、従来のタスク特徴空間の擬直交部分空間に勾配を投影することでCFを緩和する。
共有基本方向の線形結合を学習し、安定性と可塑性のバランスを保ち、重なり合う入力特徴表現間の知識の伝達を可能にする。
連続学習ベンチマークの広範な実験は、CODE-CLの有効性を検証し、優れた性能を示し、忘れを減らし、最先端の手法と比較してFWTを改善した。
関連論文リスト
- Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。
本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。
実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
論文 参考訳（メタデータ） (2024-06-09T05:57:40Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Continual Learning with Scaled Gradient Projection [8.847574864259391]
ニューラルネットワークでは、連続学習はシーケンシャルタスク間の勾配干渉を引き起こし、新しいタスクを学習しながら古いタスクを忘れてしまう。
本稿では,忘れを最小化しつつ,新しい学習を改善するためのスケールドグラディエント・プロジェクション(SGP)手法を提案する。
画像の連続的分類から強化学習タスクまでに及ぶ実験を行い、最先端の手法よりも訓練オーバーヘッドの少ない性能を報告した。
論文 参考訳（メタデータ） (2023-02-02T19:46:39Z) - Beyond Not-Forgetting: Continual Learning with Backward Knowledge
Transfer [39.99577526417276]
継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。
既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。
データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
論文 参考訳（メタデータ） (2022-11-01T23:55:51Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Natural continual learning: success is a journey, not (just) a
destination [9.462808515258464]
自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。
提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。
トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
論文 参考訳（メタデータ） (2021-06-15T12:24:53Z) - Gradient Projection Memory for Continual Learning [5.43185002439223]
過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。
ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
論文 参考訳（メタデータ） (2021-03-17T16:31:29Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。