論文の概要: KAN-CL: Per-Knot Importance Regularization for Continual Learning with Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2605.12306v1
• Date: Tue, 12 May 2026 15:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.988381
• Title: KAN-CL: Per-Knot Importance Regularization for Continual Learning with Kolmogorov-Arnold Networks
• Title（参考訳）: Kan-CL: Kolmogorov-Arnold ネットワークによる継続的学習のための1結びの重要性の正規化
• Authors: Minjong Cheon,
• Abstract要約: 連続学習(CL)における中心的障害は破滅的忘れである Kolmogorov-Arnold Networks (KAN) のコンパクトなスプラインパラメータ化を利用した連続学習フレームワークkan-CLを提案する。 Kan-CL は Split-CIFAR-10/5T と Split-CIFAR-100/10T の頭のみの Kan ベースラインよりも 88% と 93% の削減を実現している。
• 参考スコア（独自算出の注目度）: 3.993449663756884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting remains the central obstacle in continual learning (CL): parameters shared across tasks interfere with one another, and existing regularization methods such as EWC and SI apply uniform penalties without awareness of which input region a parameter serves. We propose KAN-CL, a continual learning framework that exploits the compact-support spline parameterization of Kolmogorov-Arnold Networks (KANs) to perform importance-weighted anchoring at per-knot granularity. Deployed as a classification head on a convolutional backbone with standard EWC regularization on the backbone (bbEWC) KAN-CL achieves forgetting reductions of 88% and 93% over a head-only KAN baseline on Split-CIFAR-10/5T and Split-CIFAR-100/10T respectively, while matching or exceeding the accuracy of all baselines on both benchmarks. We further provide a Neural Tangent Kernel (NTK) analysis showing that KAN's spline locality induces a structural rank deficit in the cross-task NTK, yielding a forgetting bound that holds even in the feature-learning regime. These results establish that combining an architecture with natural parameter locality (KAN head) with a complementary backbone regularizer (bbEWC) yields a compositional and principled approach to catastrophic forgetting.
• Abstract（参考訳）: 連続学習(CL):タスク間で共有されるパラメータが互いに干渉し合い、EWCやSIのような既存の正規化手法では、パラメータがどの入力領域に作用するかを意識せずに均一な罰則を適用する。 我々は,Kan-CLを提案する。Kan-CLは,Kolmogorov-Arnold Networks (KANs) のコンパクトなスプラインパラメータ化を利用した連続学習フレームワークである。 バックボーン(bbEWC)の標準EWC正規化による畳み込みバックボーンの分類ヘッドとして展開されたKann-CLは、Split-CIFAR-10/5TとSplit-CIFAR-100/10Tの頭のみのKannベースラインよりも88%と93%の削減を実現し、両ベンチマークのすべてのベースラインの精度を一致または超える。 さらに, ニューラル・タンジェント・カーネル (NTK) 解析により, カンのスプラインの局所性は, クロスタスクNTKの構造的階級差を誘導し, 特徴学習体制においてさえ保持される忘れる境界を生じさせることを示した。 これらの結果は、アーキテクチャを自然パラメータ局所性(KANヘッド)と相補的バックボーン正規化器(bbEWC)を組み合わせることで、破滅的忘れに対する構成的および原則的アプローチが得られることを証明している。

関連論文リスト

• K-Means as a Radial Basis function Network: a Variational and Gradient-based Equivalence [41.99844472131922]
  この研究は、古典的なK平均アルゴリズムと微分可能な基底放射関数ニューラルネットワークとの間の厳密な変動と勾配に基づく等価性を確立する。 RBFの目標である$$-convergesがK-Means解に温度パラメータ$$$が消滅することを示す。 また、基礎となるボロノイ分割構造を保ちながら安定収束を保証するEnt-max-1.5の統合も提案する。
  論文  参考訳（メタデータ） (2026-03-04T21:41:50Z)
• Weighted K-Harmonic Means Clustering: Convergence Analysis and Applications to Wireless Communications [7.586829158414637]
  数値安定性を確保するために,K-調和手段の正規化変種であるEmphmph K-harmonic means (WKHM)クラスタリングを提案する。 WKHMは、無線ネットワークにおける無線ノード配置とユーザアソシエーションのためのツールとして、より優れた最小信号強度と原則的クラスタリングベースラインを実現する。
  論文  参考訳（メタデータ） (2025-12-18T05:09:56Z)
• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Exploring Self-supervised Skeleton-based Action Recognition in Occluded Environments [40.322770236718775]
  我々は,オクルージョンを扱うためのシンプルで効果的な自己教師型学習フレームワークであるIosPSTLを提案する。 IosPSTLはクラスタに依存しないKNN命令とOccluded partial Spatio-Temporal Learning (OPSTL)戦略を組み合わせる。 OPSTLモジュールは適応空間マスキング (Adaptive Spatial Masking, ASM) を組み込んで、トレーニング中に無傷で高品質な骨格配列をうまく活用する。
  論文  参考訳（メタデータ） (2023-09-21T12:51:11Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。