論文の概要: Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2211.00789v1
• Date: Tue, 1 Nov 2022 23:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 12:26:32.216792
• Title: Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer
• Title（参考訳）: 忘れないことを超えて: 後進的知識伝達による継続的な学習
• Authors: Sen Lin, Li Yang, Deliang Fan, Junshan Zhang
• Abstract要約: 継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
• 参考スコア（独自算出の注目度）: 39.99577526417276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By learning a sequence of tasks continually, an agent in continual learning (CL) can improve the learning performance of both a new task and `old' tasks by leveraging the forward knowledge transfer and the backward knowledge transfer, respectively. However, most existing CL methods focus on addressing catastrophic forgetting in neural networks by minimizing the modification of the learnt model for old tasks. This inevitably limits the backward knowledge transfer from the new task to the old tasks, because judicious model updates could possibly improve the learning performance of the old tasks as well. To tackle this problem, we first theoretically analyze the conditions under which updating the learnt model of old tasks could be beneficial for CL and also lead to backward knowledge transfer, based on the gradient projection onto the input subspaces of old tasks. Building on the theoretical analysis, we next develop a ContinUal learning method with Backward knowlEdge tRansfer (CUBER), for a fixed capacity neural network without data replay. In particular, CUBER first characterizes the task correlation to identify the positively correlated old tasks in a layer-wise manner, and then selectively modifies the learnt model of the old tasks when learning the new task. Experimental studies show that CUBER can even achieve positive backward knowledge transfer on several existing CL benchmarks for the first time without data replay, where the related baselines still suffer from catastrophic forgetting (negative backward knowledge transfer). The superior performance of CUBER on the backward knowledge transfer also leads to higher accuracy accordingly.
• Abstract（参考訳）: 一連のタスクを連続的に学習することにより、連続学習エージェント(cl)は、前進知識転送と後方知識転送をそれぞれ活用して、新しいタスクと「古い」タスクの両方の学習性能を向上させることができる。 しかし、既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小限にすることで、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 これは必然的に、新しいタスクから古いタスクへの後方からの知識伝達を制限する。 この問題に対処するために,我々はまず,古いタスクの学習モデルを更新することがclにとって有益である条件を理論的に解析し,また,従来のタスクの入力部分空間への勾配射影に基づいて,後向きの知識伝達を導く。 理論的解析に基づいて,データ再生のない固定容量ニューラルネットワークのための,バックワードノウルEdge tRansfer (CUBER) を用いたContinUal学習法を開発した。 特に、CUBERは、まずタスク相関を特徴付け、階層的に正に相関した古いタスクを識別し、新しいタスクを学習する際に、古いタスクの学習モデルを選択的に修正する。 実験的研究により、CUBERはデータ再生なしでいくつかの既存のCLベンチマークにおいて、初めて正の逆向きの知識伝達を達成できることが示され、関連するベースラインは依然として破滅的な忘れ(負の逆方向の知識伝達)に悩まされている。 後向きの知識伝達におけるCUBERの優れた性能は、それに応じて高い精度をもたらす。

関連論文リスト

• CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
  我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。 概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Lifelong Sequence Generation with Dynamic Module Expansion and Adaptation [39.886149621730915]
  寿命シーケンス生成(LSG)は、連続した世代タスクに基づいてモデルを継続的に訓練し、常に新しい世代パターンを学ぶことを目的としている。 人間の学習パラダイムにヒントを得て,動的モジュール拡張適応(DMEA)を提案する。 DMEAにより、タスク相関に基づいて新しい知識を取得するためのアーキテクチャを動的に決定し、最も類似したタスクを選択して、新しいタスクへの適応を容易にすることができる。
  論文  参考訳（メタデータ） (2023-10-15T16:51:11Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Continual Learning with Knowledge Transfer for Sentiment Classification [20.5365406439092]
  Kanは、フォワードとバックワードの知識伝達によって、新しいタスクと古いタスクの両方の精度を著しく向上させることができる。 カンの有効性は広範な実験によって実証される。
  論文  参考訳（メタデータ） (2021-12-18T22:58:21Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。