Fugu-MT 論文翻訳(概要): NTK-Guided Few-Shot Class Incremental Learning

論文の概要: NTK-Guided Few-Shot Class Incremental Learning

arxiv url: http://arxiv.org/abs/2403.12486v2
Date: Tue, 24 Sep 2024 12:11:47 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 03:59:23.875051
Title: NTK-Guided Few-Shot Class Incremental Learning
Title（参考訳）: NTK-Guided Few-Shot Class Incremental Learning
Authors: Jingren Liu, Zhong Ji, Yanwei Pang, YunLong Yu,
Abstract要約: 本稿では, ニューラル・タンジェント・カーネル(NTK)の観点から, 数学的一般化の観点から, 反アムネシアの新たな概念化について述べる。提案手法は,NTK収束の最適確保とNTK関連一般化損失の最小化という2つの重要な側面に焦点をあてる。我々のNTK-FSCILは現代の最先端のアプローチを超越し、エンドセッション精度を2.9%から9.3%向上させた。
参考スコア（独自算出の注目度）: 47.92720244138099
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The proliferation of Few-Shot Class Incremental Learning (FSCIL) methodologies has highlighted the critical challenge of maintaining robust anti-amnesia capabilities in FSCIL learners. In this paper, we present a novel conceptualization of anti-amnesia in terms of mathematical generalization, leveraging the Neural Tangent Kernel (NTK) perspective. Our method focuses on two key aspects: ensuring optimal NTK convergence and minimizing NTK-related generalization loss, which serve as the theoretical foundation for cross-task generalization. To achieve global NTK convergence, we introduce a principled meta-learning mechanism that guides optimization within an expanded network architecture. Concurrently, to reduce the NTK-related generalization loss, we systematically optimize its constituent factors. Specifically, we initiate self-supervised pre-training on the base session to enhance NTK-related generalization potential. These self-supervised weights are then carefully refined through curricular alignment, followed by the application of dual NTK regularization tailored specifically for both convolutional and linear layers. Through the combined effects of these measures, our network acquires robust NTK properties, ensuring optimal convergence and stability of the NTK matrix and minimizing the NTK-related generalization loss, significantly enhancing its theoretical generalization. On popular FSCIL benchmark datasets, our NTK-FSCIL surpasses contemporary state-of-the-art approaches, elevating end-session accuracy by 2.9\% to 9.3\%.
Abstract（参考訳）: FSCIL学習者にとって,Few-Shot Class Incremental Learning (FSCIL) 手法の普及は,堅牢な抗記憶機能を維持する上で重要な課題を浮き彫りにした。本稿では, ニューラル・タンジェント・カーネル(NTK)の観点から, 数学的一般化の観点から, 反強磁性の新たな概念化を提案する。本手法は,NTKの最適収束の確保とNTK関連一般化損失の最小化という2つの重要な側面に焦点をあてる。 NTKのグローバル収束を実現するために,拡張されたネットワークアーキテクチャ内で最適化をガイドする,原則付きメタ学習機構を導入する。同時に,NTK関連一般化損失を低減するために,その要因を体系的に最適化する。具体的には,NTK関連一般化ポテンシャルを高めるために,ベースセッションで自己指導型事前学習を開始する。これらの自己監督重みは、曲率アライメントによって慎重に洗練され、続いて、畳み込み層と線形層の両方に特化された双対NTK正規化が適用される。これらの効果を組み合わせることで,ネットワークはNTK特性を安定に獲得し,NTK行列の最適収束と安定性を確保し,NTK関連一般化損失を最小化し,理論的一般化を著しく向上させる。一般的なFSCILベンチマークデータセットでは、NTK-FSCILは現代の最先端のアプローチを超越し、エンドセッション精度を2.9\%から9.3\%に高めている。

関連論文リスト

Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-07-24T09:30:04Z)
Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文参考訳（メタデータ） (2023-10-28T06:41:47Z)
On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective [9.753461673117362]
ニューラル・タンジェント・カーネル(NTK)は、大規模ニューラルネットワークの振る舞いを記述する理論的枠組みとして注目されている。カーネル体制への収束率の定量化の現在の結果は、これらの利点を利用するには、それらよりも桁違いに広いアーキテクチャが必要であることを示唆している。本研究は,大規模建築物の実用的関連挙動を予測するための限界条件について検討する。
論文参考訳（メタデータ） (2023-09-29T20:51:24Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks [1.6519302768772166]
テストリスクとカーネルリッジ回帰の他の一般化指標について、簡単なクローズドフォーム推定を導出する。関数の正規直交基底を学習するKRRの能力を制限するシャープな保存法則を同定する。
論文参考訳（メタデータ） (2021-10-08T06:32:07Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。