論文の概要: Path-Coordinated Continual Learning with Neural Tangent Kernel-Justified Plasticity: A Theoretical Framework with Near State-of-the-Art Performance
- arxiv url: http://arxiv.org/abs/2511.02025v1
- Date: Mon, 03 Nov 2025 19:55:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:05.66693
- Title: Path-Coordinated Continual Learning with Neural Tangent Kernel-Justified Plasticity: A Theoretical Framework with Near State-of-the-Art Performance
- Title(参考訳): ニューラルタンジェントカーネル最適化プラスチックを用いた経路協調型連続学習:現状に近い性能の理論的枠組み
- Authors: Rathin Chandra Shit,
- Abstract要約: 破滅的な忘れは継続的学習の根本的問題の一つである。
提案した枠組みは、原理的可塑性境界のニューラル・タンジェント・カーネル(NTK)理論を統一する。
このフレームワークは、厳密な統計的保証で発見されたパスの80%を検証する。
- 参考スコア(独自算出の注目度): 0.618778092044887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting is one of the fundamental issues of continual learning because neural networks forget the tasks learned previously when trained on new tasks. The proposed framework is a new path-coordinated framework of continual learning that unites the Neural Tangent Kernel (NTK) theory of principled plasticity bounds, statistical validation by Wilson confidence intervals, and evaluation of path quality by the use of multiple metrics. Experimental evaluation shows an average accuracy of 66.7% at the cost of 23.4% catastrophic forgetting on Split-CIFAR10, a huge improvement over the baseline and competitive performance achieved, which is very close to state-of-the-art results. Further, it is found out that NTK condition numbers are predictive indicators of learning capacity limits, showing the existence of a critical threshold at condition number $>10^{11}$. It is interesting to note that the proposed strategy shows a tendency of lowering forgetting as the sequence of tasks progresses (27% to 18%), which is a system stabilization. The framework validates 80% of discovered paths with a rigorous statistical guarantee and maintains 90-97% retention on intermediate tasks. The core capacity limits of the continual learning environment are determined in the analysis, and actionable insights to enhance the adaptive regularization are offered.
- Abstract(参考訳): ニューラルネットワークは、新しいタスクでトレーニングされた時に学習したタスクを忘れてしまうため、破滅的な忘れは継続的学習の基本的な問題の1つだ。
提案フレームワークは, 基本可塑性境界のニューラル・タンジェント・カーネル(NTK)理論, ウィルソン信頼区間による統計的検証, および, 複数指標を用いた経路品質の評価を行う連続学習のための新しい経路協調フレームワークである。
実験による評価では、Split-CIFAR10の23.4%の破滅的な忘れを犠牲にして平均66.7%の精度を示す。
さらに、NTK条件数は学習能力限界の予測指標であり、条件番号$>10^{11}$における臨界しきい値の存在を示す。
提案手法は,タスクの順序が進行するにつれて忘れる傾向(27%から18%)を示し,システムの安定化を図っている点に注意が必要である。
このフレームワークは、厳密な統計的保証で発見パスの80%を検証し、中間タスクで90-97%の保持を維持する。
分析において、連続学習環境の中核容量限界が決定され、適応正規化を強化するための実行可能な洞察が提供される。
関連論文リスト
- NAIPv2: Debiased Pairwise Learning for Efficient Paper Quality Estimation [58.30936615525824]
本稿では,紙の品質評価のための非バイアスで効率的なフレームワークであるNAIPv2を提案する。
NAIPv2は、レビューアレーティングの不整合を低減するために、ドメイン年グループ内でペアワイズ学習を採用している。
これはペアワイズ比較に基づいてトレーニングされるが、デプロイ時に効率的なポイントワイズ予測を可能にする。
論文 参考訳(メタデータ) (2025-09-29T17:59:23Z) - A Contrastive Learning-Guided Confident Meta-learning for Zero Shot Anomaly Detection [17.73056562717683]
CoZADは、新しいゼロショット異常検出フレームワークである。
ソフト・インテリジェンス・ラーニングとメタラーニングとコントラスト的特徴表現を統合している。
7つの産業ベンチマークのうち6つで既存の手法を上回ります。
論文 参考訳(メタデータ) (2025-08-25T09:27:31Z) - Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。
本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
論文 参考訳(メタデータ) (2025-08-15T21:49:28Z) - Bayesian continual learning and forgetting in neural networks [0.8795040582681392]
シナプス不確実性(MESU)からメタ可塑性を導入する
MESUはベイジアンフレームワークであり、不確実性に応じてネットワークパラメータを更新する。
この結果は, メタ塑性, ベイズ推定, ヘッセン系正則化のアイデアを統一するものである。
論文 参考訳(メタデータ) (2025-04-18T09:11:34Z) - Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。
3つの理論的な貢献により、現在の最先端の成果が向上する。
論文 参考訳(メタデータ) (2024-10-21T15:34:44Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Robust Learning via Persistency of Excitation [4.674053902991301]
勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。
極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。
我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
論文 参考訳(メタデータ) (2021-06-03T18:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。