論文の概要: Defeating Catastrophic Forgetting via Enhanced Orthogonal Weights Modification

• arxiv url: http://arxiv.org/abs/2111.10078v1
• Date: Fri, 19 Nov 2021 07:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 23:44:48.145712
• Title: Defeating Catastrophic Forgetting via Enhanced Orthogonal Weights Modification
• Title（参考訳）: 拡張直交重み修正による壊滅的鍛造
• Authors: Yanni Li and Bing Liu and Kaicheng Yao and Xiaoli Kou and Pengfan Lv and Yueshen Xu and Jiangtao Cui
• Abstract要約: 本稿では,新しい学習課題の重み勾配が,新たな学習課題の入力空間と,学習課題の重み空間とによって連続的に決定されることを示す。 本稿では,拡張OWMによる効率的かつ効果的な連続学習手法であるEOWMを提案する。
• 参考スコア（独自算出の注目度）: 8.091211518374598
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The ability of neural networks (NNs) to learn and remember multiple tasks sequentially is facing tough challenges in achieving general artificial intelligence due to their catastrophic forgetting (CF) issues. Fortunately, the latest OWM Orthogonal Weights Modification) and other several continual learning (CL) methods suggest some promising ways to overcome the CF issue. However, none of existing CL methods explores the following three crucial questions for effectively overcoming the CF issue: that is, what knowledge does it contribute to the effective weights modification of the NN during its sequential tasks learning? When the data distribution of a new learning task changes corresponding to the previous learned tasks, should a uniform/specific weight modification strategy be adopted or not? what is the upper bound of the learningable tasks sequentially for a given CL method? ect. To achieve this, in this paper, we first reveals the fact that of the weight gradient of a new learning task is determined by both the input space of the new task and the weight space of the previous learned tasks sequentially. On this observation and the recursive least square optimal method, we propose a new efficient and effective continual learning method EOWM via enhanced OWM. And we have theoretically and definitively given the upper bound of the learningable tasks sequentially of our EOWM. Extensive experiments conducted on the benchmarks demonstrate that our EOWM is effectiveness and outperform all of the state-of-the-art CL baselines.
• Abstract（参考訳）: ニューラルネットワーク(NN)が複数のタスクを逐次学習し記憶する能力は、破滅的な忘れ(CF)問題のために、汎用人工知能を達成する上で難しい課題に直面している。 幸いなことに、最新のOWM Orthogonal Weights Modificationといくつかの連続学習(CL)メソッドはCF問題を克服する有望な方法を示している。 しかし、既存のclメソッドは、cf問題を効果的に克服するための3つの重要な質問を探求していない:すなわち、逐次タスク学習中のnnの効果的な重み付け修正にどんな知識が寄与するのか? 新しい学習タスクのデータ分布が以前の学習タスクに応じて変化するとき、一様/特定重み変更戦略を採用するべきか? 与えられたCLメソッドに対して、学習可能なタスクの上位境界は何でしょうか? ect. そこで本稿では,まず,新しいタスクの入力空間と前回の学習タスクの重み空間の両方から,新しい学習タスクの重み勾配が順次決定されることを示す。 この観察と再帰的最小二乗法について,拡張OWMによる効率的かつ効果的な連続学習法EOWMを提案する。 そして、理論的かつ決定的に、学習可能なタスクの上限をEOWMの逐次的に与えました。 ベンチマーク実験により、EOWMは有効であり、最先端のCLベースラインをすべて上回っていることが示された。

関連論文リスト

• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Clustering-based Domain-Incremental Learning [4.835091081509403]
  連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。 動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。 提案手法の有効性と将来性を示す。
  論文  参考訳（メタデータ） (2023-09-21T13:49:05Z)
• Self-paced Weight Consolidation for Continual Learning [39.27729549041708]
  連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。 継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T13:07:41Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Exclusive Supermask Subnetwork Training for Continual Learning [95.5186263127864]
  継続的な学習(CL)手法は、忘れることを避けながら、時間とともに知識を蓄積することに焦点を当てる。 本稿では,排他的および非重複的なサブネットワークウェイトトレーニングを行う ExSSNeT (Exclusive Supermask SubNEtwork Training) を提案する。 我々は,exSSNeT が従来の NLP と Vision の両領域において,忘れの防止を図りながら,従来手法よりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2022-10-18T23:27:07Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• DIODE: Dilatable Incremental Object Detection [15.59425584971872]
  従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。 多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。 提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-08-12T09:45:57Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。