論文の概要: KAC: Kolmogorov-Arnold Classifier for Continual Learning

• arxiv url: http://arxiv.org/abs/2503.21076v1
• Date: Thu, 27 Mar 2025 01:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:53:56.483120
• Title: KAC: Kolmogorov-Arnold Classifier for Continual Learning
• Title（参考訳）: KAC:継続的な学習のためのコルモゴロフ・アルノルド分類器
• Authors: Yusong Hu, Zichen Liang, Fei Yang, Qibin Hou, Xialei Liu, Ming-Ming Cheng,
• Abstract要約: 継続的な学習には、モデルを忘れずに連続的なタスクにわたって継続的にトレーニングする必要がある。 既存の手法の多くは線形分類器を利用しており、新しいタスクを学習しながら安定した分類空間を維持するのに苦労している。 Kolmogorov-Arnold Networks (KAN) の単純な連続回帰タスクにおける学習の保存の成功に触発されて、我々はより複雑な連続的な学習シナリオにおける学習の可能性を探究した。
• 参考スコア（独自算出の注目度）: 70.29494592027852
• License:
• Abstract: Continual learning requires models to train continuously across consecutive tasks without forgetting. Most existing methods utilize linear classifiers, which struggle to maintain a stable classification space while learning new tasks. Inspired by the success of Kolmogorov-Arnold Networks (KAN) in preserving learning stability during simple continual regression tasks, we set out to explore their potential in more complex continual learning scenarios. In this paper, we introduce the Kolmogorov-Arnold Classifier (KAC), a novel classifier developed for continual learning based on the KAN structure. We delve into the impact of KAN's spline functions and introduce Radial Basis Functions (RBF) for improved compatibility with continual learning. We replace linear classifiers with KAC in several recent approaches and conduct experiments across various continual learning benchmarks, all of which demonstrate performance improvements, highlighting the effectiveness and robustness of KAC in continual learning. The code is available at https://github.com/Ethanhuhuhu/KAC.
• Abstract（参考訳）: 継続的な学習には、モデルを忘れずに連続的なタスクにわたって継続的にトレーニングする必要がある。 既存の手法の多くは線形分類器を利用しており、新しいタスクを学習しながら安定した分類空間を維持するのに苦労している。 Kolmogorov-Arnold Networks (KAN) の成功に触発されて, より複雑な連続的な学習シナリオにおいて, 学習安定性の維持を図った。 本稿では,KAC(Kolmogorov-Arnold Classifier)について紹介する。 我々はkanのスプライン関数の影響を掘り下げ、連続学習との互換性を改善するためにRBF(Radial Basis Function)を導入する。 我々は最近のいくつかのアプローチで線形分類器をKACに置き換え、連続学習におけるKACの有効性と堅牢性を強調し、様々な連続学習ベンチマークで実験を行う。 コードはhttps://github.com/Ethanhuhu/KACで公開されている。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Densely Distilling Cumulative Knowledge for Continual Learning [14.343655566551213]
  多様なタスクのシーケンシャルなトレーニングを含む継続的な学習は、しばしば破滅的な忘れに直面します。 本稿では,従来の課題の累積知識を抽出するために,Dense Knowledge Distillation (DKD)を提案する。 我々のDKDは、様々なベンチマークやシナリオで最新の最先端のベースラインを上回っています。
  論文  参考訳（メタデータ） (2024-05-16T05:37:06Z)
• Auxiliary Classifiers Improve Stability and Efficiency in Continual Learning [13.309853617922824]
  連続学習における中間的ニューラルネットワーク層の安定性について検討する。 補助分類器(AC)はこの安定性を利用して性能を向上させることができることを示す。 以上の結果から,ACは継続学習モデルの拡張に有望な道筋であることを示唆した。
  論文  参考訳（メタデータ） (2024-03-12T08:33:26Z)
• Continual Learning with Dirichlet Generative-based Rehearsal [22.314195832409755]
  本稿では,タスク指向対話システムのための新しい生成型リハーサル戦略であるDirichlet Continual Learningを紹介する。 また,ロジットに基づく堅牢な知識蒸留法であるJensen-Shannon Knowledge Distillation (JSKD)についても紹介する。 本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2023-09-13T12:30:03Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
  継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T23:46:17Z)
• Continual Learning with Node-Importance based Adaptive Group Sparse Regularization [30.23319528662881]
  AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。 提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
  論文  参考訳（メタデータ） (2020-03-30T18:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。