論文の概要: NTK-Guided Few-Shot Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2403.12486v1
- Date: Tue, 19 Mar 2024 06:43:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 15:02:36.275457
- Title: NTK-Guided Few-Shot Class Incremental Learning
- Title(参考訳): NTK-Guided Few-Shot Class Incremental Learning
- Authors: Jingren Liu, Zhong Ji, Yanwei Pang, YunLong Yu,
- Abstract要約: FSCILにおける最適NTK収束とNTK関連一般化誤差の確保に焦点をあてる。
グローバルに最適なNTK収束を実現するために,数学的原理に基づくメタ学習機構を用いる。
ネットワークは堅牢なNTK特性を取得し,その基礎的一般化を著しく向上させる。
- 参考スコア(独自算出の注目度): 47.92720244138099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While anti-amnesia FSCIL learners often excel in incremental sessions, they tend to prioritize mitigating knowledge attrition over harnessing the model's potential for knowledge acquisition. In this paper, we delve into the foundations of model generalization in FSCIL through the lens of the Neural Tangent Kernel (NTK). Our primary design focus revolves around ensuring optimal NTK convergence and NTK-related generalization error, serving as the theoretical bedrock for exceptional generalization. To attain globally optimal NTK convergence, we employ a meta-learning mechanism grounded in mathematical principles to guide the optimization process within an expanded network. Furthermore, to reduce the NTK-related generalization error, we commence from the foundational level, optimizing the relevant factors constituting its generalization loss. Specifically, we initiate self-supervised pre-training on the base session to shape the initial network weights. Then they are carefully refined through curricular alignment, followed by the application of dual NTK regularization tailored specifically for both convolutional and linear layers. Through the combined effects of these measures, our network acquires robust NTK properties, significantly enhancing its foundational generalization. On popular FSCIL benchmark datasets, our NTK-FSCIL surpasses contemporary state-of-the-art approaches, elevating end-session accuracy by 2.9% to 8.7%.
- Abstract(参考訳): 反アムネシアのFSCIL学習者は、しばしばインクリメンタルセッションに優れるが、彼らは、知識獲得のモデルの可能性を活用することよりも、知識獲得の軽減を優先する傾向にある。
本稿では、ニューラルタンジェントカーネル(NTK)のレンズを用いて、FSCILにおけるモデル一般化の基礎を掘り下げる。
我々の主設計は、最適NTK収束とNTK関連一般化誤差の確保に重点を置いており、例外的一般化の理論的基盤として機能している。
NTKのグローバルな収束を実現するため,拡張ネットワーク内での最適化プロセスを導くために,数学的原理に基づくメタ学習機構を用いる。
さらに,NTK関連一般化誤差を低減するため,その一般化損失を構成する要因を最適化し,基礎レベルから始める。
具体的には,初期ネットワークの重みを形作るために,ベースセッションで自己指導型事前学習を開始する。
その後、曲線アライメントにより慎重に洗練され、続いて、畳み込み層と線形層の両方に特化して2つのNTK正規化が適用される。
これらの効果を組み合わせることで、ネットワークは堅牢なNTK特性を取得し、基礎的な一般化を著しく強化する。
一般的なFSCILベンチマークデータセットでは、NTK-FSCILは現代の最先端のアプローチを超越し、エンドセッション精度を2.9%から8.7%向上させた。
関連論文リスト
- Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳(メタデータ) (2023-10-28T06:41:47Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳(メタデータ) (2023-09-26T17:42:52Z) - Learning Expressive Priors for Generalization and Uncertainty Estimation
in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。
キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。
本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文 参考訳(メタデータ) (2023-07-15T09:24:33Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳(メタデータ) (2022-08-16T21:22:34Z) - Limitations of the NTK for Understanding Generalization in Deep Learning [13.44676002603497]
我々はNTKをスケーリング法則のレンズを通して研究し、ニューラルネットワークの一般化の重要な側面を説明するには不十分であることを示した。
実験的なNTKを一定数のサンプルで事前トレーニングしても、カーネルのスケーリングはニューラルネットワークのスケーリングに追いつかなくなる。
論文 参考訳(メタデータ) (2022-06-20T21:23:28Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。