論文の概要: TRGP: Trust Region Gradient Projection for Continual Learning

• arxiv url: http://arxiv.org/abs/2202.02931v1
• Date: Mon, 7 Feb 2022 04:21:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 17:00:53.683452
• Title: TRGP: Trust Region Gradient Projection for Continual Learning
• Title（参考訳）: TRGP:連続学習のための信頼領域勾配予測
• Authors: Sen Lin, Li Yang, Deliang Fan, Junshan Zhang
• Abstract要約: 破滅的な忘れは継続的な学習における大きな課題の1つだ。 本稿では,フォワード・ナレッジ・トランスファーを容易にするため,信頼領域のグラディエント・プロジェクションを提案する。 提案手法は,最先端手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 39.99577526417276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting is one of the major challenges in continual learning. To address this issue, some existing methods put restrictive constraints on the optimization space of the new task for minimizing the interference to old tasks. However, this may lead to unsatisfactory performance for the new task, especially when the new task is strongly correlated with old tasks. To tackle this challenge, we propose Trust Region Gradient Projection (TRGP) for continual learning to facilitate the forward knowledge transfer based on an efficient characterization of task correlation. Particularly, we introduce a notion of `trust region' to select the most related old tasks for the new task in a layer-wise and single-shot manner, using the norm of gradient projection onto the subspace spanned by task inputs. Then, a scaled weight projection is proposed to cleverly reuse the frozen weights of the selected old tasks in the trust region through a layer-wise scaling matrix. By jointly optimizing the scaling matrices and the model, where the model is updated along the directions orthogonal to the subspaces of old tasks, TRGP can effectively prompt knowledge transfer without forgetting. Extensive experiments show that our approach achieves significant improvement over related state-of-the-art methods.
• Abstract（参考訳）: 破滅的な忘れは継続的な学習における大きな課題の1つだ。 この問題に対処するため、既存の手法では、古いタスクへの干渉を最小限に抑えるために、新しいタスクの最適化空間に制限を設けている。 しかし、これは特に新しいタスクが古いタスクと強く相関している場合、新しいタスクに不満足なパフォーマンスをもたらす可能性がある。 この課題に対処するために,タスク相関の効率的な評価に基づくフォワード知識伝達を容易にするために,連続学習のための信頼領域勾配投影(TRGP)を提案する。 特に,タスク入力によって分散された部分空間への勾配投影のノルムを用いて,新しいタスクの最も関連性の高い古いタスクを階層的かつ単発的に選択する「トラスト領域」の概念を導入する。 次に,信頼領域において選択された古いタスクの凍った重みを層状スケーリングマトリクスを介して巧みに再利用するために,スケールドウェイトプロジェクションを提案する。 従来のタスクのサブ空間に直交する方向に沿ってモデルが更新されるスケーリング行列とモデルを協調的に最適化することにより、TRGPは忘れずに効果的に知識伝達を促進できる。 広範な実験により,本手法は関連する最先端手法よりも大幅に改善できることが示された。

関連論文リスト

• CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
  我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。 概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Continual Learning with Scaled Gradient Projection [8.847574864259391]
  ニューラルネットワークでは、連続学習はシーケンシャルタスク間の勾配干渉を引き起こし、新しいタスクを学習しながら古いタスクを忘れてしまう。 本稿では,忘れを最小化しつつ,新しい学習を改善するためのスケールドグラディエント・プロジェクション(SGP)手法を提案する。 画像の連続的分類から強化学習タスクまでに及ぶ実験を行い、最先端の手法よりも訓練オーバーヘッドの少ない性能を報告した。
  論文  参考訳（メタデータ） (2023-02-02T19:46:39Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer [39.99577526417276]
  継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T23:55:51Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Layerwise Optimization by Gradient Decomposition for Continual Learning [78.58714373218118]
  ディープニューラルネットワークは、様々な領域で最先端の超人的パフォーマンスを実現します。 タスクを逐次学習する場合、ネットワークは「破滅的忘れ」と呼ばれる過去のタスクの知識を忘れやすい。
  論文  参考訳（メタデータ） (2021-05-17T01:15:57Z)
• Multi-Domain Multi-Task Rehearsal for Lifelong Learning [16.02037222114105]
  マルチドメインマルチタスク(MDMT)リハーサルを提案し、古いタスクと新しいタスクを並列かつ均等にトレーニングし、タスク間の分離を破る。 具体的には、クラス内/タスク間のコンパクト性とクラス間/タスク間の矛盾を促進するために、2レベルの角度マージン損失が提案される。 さらに,従来のタスクのドメインシフトにさらに対処するために,メモリ上の任意のエピソード蒸留損失を,古いタスク毎の知識を固定するために提案する。
  論文  参考訳（メタデータ） (2020-12-14T03:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。