論文の概要: NTK-Guided Few-Shot Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.12486v1
• Date: Tue, 19 Mar 2024 06:43:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:02:36.275457
• Title: NTK-Guided Few-Shot Class Incremental Learning
• Title（参考訳）: NTK-Guided Few-Shot Class Incremental Learning
• Authors: Jingren Liu, Zhong Ji, Yanwei Pang, YunLong Yu,
• Abstract要約: FSCILにおける最適NTK収束とNTK関連一般化誤差の確保に焦点をあてる。 グローバルに最適なNTK収束を実現するために,数学的原理に基づくメタ学習機構を用いる。 ネットワークは堅牢なNTK特性を取得し,その基礎的一般化を著しく向上させる。
• 参考スコア（独自算出の注目度）: 47.92720244138099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While anti-amnesia FSCIL learners often excel in incremental sessions, they tend to prioritize mitigating knowledge attrition over harnessing the model's potential for knowledge acquisition. In this paper, we delve into the foundations of model generalization in FSCIL through the lens of the Neural Tangent Kernel (NTK). Our primary design focus revolves around ensuring optimal NTK convergence and NTK-related generalization error, serving as the theoretical bedrock for exceptional generalization. To attain globally optimal NTK convergence, we employ a meta-learning mechanism grounded in mathematical principles to guide the optimization process within an expanded network. Furthermore, to reduce the NTK-related generalization error, we commence from the foundational level, optimizing the relevant factors constituting its generalization loss. Specifically, we initiate self-supervised pre-training on the base session to shape the initial network weights. Then they are carefully refined through curricular alignment, followed by the application of dual NTK regularization tailored specifically for both convolutional and linear layers. Through the combined effects of these measures, our network acquires robust NTK properties, significantly enhancing its foundational generalization. On popular FSCIL benchmark datasets, our NTK-FSCIL surpasses contemporary state-of-the-art approaches, elevating end-session accuracy by 2.9% to 8.7%.
• Abstract（参考訳）: 反アムネシアのFSCIL学習者は、しばしばインクリメンタルセッションに優れるが、彼らは、知識獲得のモデルの可能性を活用することよりも、知識獲得の軽減を優先する傾向にある。 本稿では、ニューラルタンジェントカーネル(NTK)のレンズを用いて、FSCILにおけるモデル一般化の基礎を掘り下げる。 我々の主設計は、最適NTK収束とNTK関連一般化誤差の確保に重点を置いており、例外的一般化の理論的基盤として機能している。 NTKのグローバルな収束を実現するため,拡張ネットワーク内での最適化プロセスを導くために,数学的原理に基づくメタ学習機構を用いる。 さらに,NTK関連一般化誤差を低減するため,その一般化損失を構成する要因を最適化し,基礎レベルから始める。 具体的には,初期ネットワークの重みを形作るために,ベースセッションで自己指導型事前学習を開始する。 その後、曲線アライメントにより慎重に洗練され、続いて、畳み込み層と線形層の両方に特化して2つのNTK正規化が適用される。 これらの効果を組み合わせることで、ネットワークは堅牢なNTK特性を取得し、基礎的な一般化を著しく強化する。 一般的なFSCILベンチマークデータセットでは、NTK-FSCILは現代の最先端のアプローチを超越し、エンドセッション精度を2.9%から8.7%向上させた。

関連論文リスト

• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective [9.753461673117362]
  ニューラル・タンジェント・カーネル(NTK)は、大規模ニューラルネットワークの振る舞いを記述する理論的枠組みとして注目されている。 カーネル体制への収束率の定量化の現在の結果は、これらの利点を利用するには、それらよりも桁違いに広いアーキテクチャが必要であることを示唆している。 本研究は,大規模建築物の実用的関連挙動を予測するための限界条件について検討する。
  論文  参考訳（メタデータ） (2023-09-29T20:51:24Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks [1.6519302768772166]
  テストリスクとカーネルリッジ回帰の他の一般化指標について、簡単なクローズドフォーム推定を導出する。 関数の正規直交基底を学習するKRRの能力を制限するシャープな保存法則を同定する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:07Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。