論文の概要: Split-and-Bridge: Adaptable Class Incremental Learning within a Single
Neural Network
- arxiv url: http://arxiv.org/abs/2107.01349v1
- Date: Sat, 3 Jul 2021 05:51:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 15:25:44.019065
- Title: Split-and-Bridge: Adaptable Class Incremental Learning within a Single
Neural Network
- Title（参考訳）: Split-and-Bridge: 単一ニューラルネットワークにおける適応型クラスインクリメンタル学習
- Authors: Jong-Yeong Kim and Dong-Wan Choi
- Abstract要約: 継続的学習は、ディープラーニングコミュニティで大きな問題である。
本稿では,Split-and-Bridgeと呼ばれる新しい連続学習手法を提案する。
- 参考スコア（独自算出の注目度）: 0.20305676256390928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning has been a major problem in the deep learning community,
where the main challenge is how to effectively learn a series of newly arriving
tasks without forgetting the knowledge of previous tasks. Initiated by Learning
without Forgetting (LwF), many of the existing works report that knowledge
distillation is effective to preserve the previous knowledge, and hence they
commonly use a soft label for the old task, namely a knowledge distillation
(KD) loss, together with a class label for the new task, namely a cross entropy
(CE) loss, to form a composite loss for a single neural network. However, this
approach suffers from learning the knowledge by a CE loss as a KD loss often
more strongly influences the objective function when they are in a competitive
situation within a single network. This could be a critical problem
particularly in a class incremental scenario, where the knowledge across tasks
as well as within the new task, both of which can only be acquired by a CE
loss, is essentially learned due to the existence of a unified classifier. In
this paper, we propose a novel continual learning method, called
Split-and-Bridge, which can successfully address the above problem by partially
splitting a neural network into two partitions for training the new task
separated from the old task and re-connecting them for learning the knowledge
across tasks. In our thorough experimental analysis, our Split-and-Bridge
method outperforms the state-of-the-art competitors in KD-based continual
learning.
- Abstract（参考訳）: 継続的学習は、ディープラーニングコミュニティの主要な問題であり、これまでのタスクの知識を忘れることなく、新たにやってくる一連のタスクを効果的に学習する方法が大きな課題となっている。
LwF(Learning without Forgetting)によって始められた既存の研究の多くは、知識蒸留は以前の知識を保存するのに効果的である、と報告しているので、彼らは一般的に、知識蒸留(KD)の損失、すなわち新しいタスクのクラスラベル、すなわちクロスエントロピー(CE)の損失を用いて、単一のニューラルネットワークの複合的損失を形成する。
しかし、KD損失が単一ネットワーク内の競合状態にある場合、しばしば目的関数に強く影響を与えるため、CE損失による知識の習得に苦慮する。
これは特にクラスインクリメンタルなシナリオにおいて重要な問題であり、タスク間の知識と新しいタスク内での知識はどちらもCE損失によってのみ取得できるが、本質的には統一分類器の存在によって学習される。
本稿では,ニューラルネットワークを2つのパーティションに分割して,従来のタスクから切り離されたタスクをトレーニングし,タスク間の知識を学習するために再接続することで,上記の問題に対処できる,Split-and-Bridgeという新しい連続学習手法を提案する。
本手法は,KDに基づく連続学習における最先端の競争相手よりも優れる。
関連論文リスト
- Class-Incremental Few-Shot Event Detection [68.66116956283575]
本稿では,クラスインクリメンタルなイベント検出と呼ばれる新しいタスクを提案する。
このタスクは、古い知識の忘れと新しいクラスオーバーフィットという2つの問題に直面している。
そこで本研究では,Prompt-KDと呼ばれる新しい知識蒸留法と迅速な学習手法を提案する。
論文 参考訳（メタデータ） (2024-04-02T09:31:14Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳（メタデータ） (2023-02-02T04:03:38Z) - Beyond Not-Forgetting: Continual Learning with Backward Knowledge
Transfer [39.99577526417276]
継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。
既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。
データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
論文 参考訳（メタデータ） (2022-11-01T23:55:51Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。
具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。
いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-07-17T16:42:31Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳（メタデータ） (2021-12-31T12:05:22Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Contrast R-CNN for Continual Learning in Object Detection [13.79299067527118]
本稿では,オブジェクト検出の連続学習手法であるContrast R-CNNを提案する。
本稿ではコントラストR-CNN(Contrast R-CNN)という,オブジェクト検出の連続学習手法を提案する。
論文 参考訳（メタデータ） (2021-07-11T14:09:10Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。