論文の概要: TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning
- arxiv url: http://arxiv.org/abs/2206.08492v1
- Date: Fri, 17 Jun 2022 00:20:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 12:15:48.954789
- Title: TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning
- Title（参考訳）: tkil: クラスバランスインクリメンタル学習のための接点カーネルアプローチ
- Authors: Jinlin Xiang and Eli Shlizerman
- Abstract要約: クラスインクリメンタルな学習方法は、いくつかの経験者の記憶を以前に学んだタスクから守り、そこから知識を抽出することを目的としている。
既存のメソッドは、モデルが最新のタスクに過度に適合するため、クラス間でのパフォーマンスのバランスをとるのに苦労しています。
本稿では,TKIL(Tangent Kernel for Incremental Learning)の新たな手法を提案する。
- 参考スコア（独自算出の注目度）: 4.822598110892847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When learning new tasks in a sequential manner, deep neural networks tend to
forget tasks that they previously learned, a phenomenon called catastrophic
forgetting. Class incremental learning methods aim to address this problem by
keeping a memory of a few exemplars from previously learned tasks, and
distilling knowledge from them. However, existing methods struggle to balance
the performance across classes since they typically overfit the model to the
latest task. In our work, we propose to address these challenges with the
introduction of a novel methodology of Tangent Kernel for Incremental Learning
(TKIL) that achieves class-balanced performance. The approach preserves the
representations across classes and balances the accuracy for each class, and as
such achieves better overall accuracy and variance. TKIL approach is based on
Neural Tangent Kernel (NTK), which describes the convergence behavior of neural
networks as a kernel function in the limit of infinite width. In TKIL, the
gradients between feature layers are treated as the distance between the
representations of these layers and can be defined as Gradients Tangent Kernel
loss (GTK loss) such that it is minimized along with averaging weights. This
allows TKIL to automatically identify the task and to quickly adapt to it
during inference. Experiments on CIFAR-100 and ImageNet datasets with various
incremental learning settings show that these strategies allow TKIL to
outperform existing state-of-the-art methods.
- Abstract（参考訳）: 新しいタスクを逐次的に学習する場合、ディープニューラルネットワークは彼らが以前に学んだタスク、すなわち破滅的な忘れという現象を忘れがちだ。
クラスインクリメンタル学習手法は、以前学習したタスクからいくつかの例題の記憶を保持し、そこから知識を蒸留することで、この問題に対処することを目的としている。
しかしながら、既存のメソッドはモデルが最新のタスクに過度に適合するため、クラス間でのパフォーマンスのバランスをとるのに苦労しています。
本稿では,これらの課題に対して,クラスバランス性能を実現するTKIL(Tangent Kernel for Incremental Learning)の新たな方法論を導入することを提案する。
このアプローチはクラス間の表現を保持し、各クラスの精度をバランスさせ、全体的な正確性と分散性を向上させる。
TKILのアプローチは、ニューラルネットワークの収束挙動を無限幅の限界におけるカーネル関数として記述する、Neural Tangent Kernel (NTK)に基づいている。
TKILでは、特徴層間の勾配をこれらの層の表現間の距離として扱い、平均重みとともに最小化するようにグラディエントタンジェントカーネル損失(GTK損失)と定義することができる。
これにより、TKILはタスクを自動的に識別し、推論中に迅速に適応できる。
CIFAR-100とImageNetデータセットに対する様々なインクリメンタルな学習設定の実験は、これらの戦略により、TKILが既存の最先端メソッドより優れていることを示している。
関連論文リスト
- How Feature Learning Can Improve Neural Scaling Laws [86.9540615081759]
我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。
モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
論文 参考訳（メタデータ） (2024-09-26T14:05:32Z) - Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳（メタデータ） (2023-10-28T06:41:47Z) - Clustering-based Domain-Incremental Learning [4.835091081509403]
連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。
動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。
提案手法の有効性と将来性を示す。
論文 参考訳（メタデータ） (2023-09-21T13:49:05Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳（メタデータ） (2022-07-13T16:58:22Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。