論文の概要: Catastrophic Forgetting in Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2511.12828v1
• Date: Sun, 16 Nov 2025 23:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.56402
• Title: Catastrophic Forgetting in Kolmogorov-Arnold Networks
• Title（参考訳）: Kolmogorov-Arnold ネットワークにおける破滅的蓄積
• Authors: Mohammad Marufur Rahman, Guanchu Wang, Kaixiong Zhou, Minghan Chen, Fan Yang,
• Abstract要約: 破滅的な忘れは継続的な学習における長年の挑戦である。 Kolmogorov-Arnold Networks (KANs) のような最近のアーキテクチャの進歩は、忘れることに対する本質的な抵抗を提供するように提案されている。 本稿では,カーンズにおける破滅的な忘れを包括的に研究し,忘れをアクティベーションサポートの重複と本質的なデータ次元に結びつける理論的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 27.683054983159835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting is a longstanding challenge in continual learning, where models lose knowledge from earlier tasks when learning new ones. While various mitigation strategies have been proposed for Multi-Layer Perceptrons (MLPs), recent architectural advances like Kolmogorov-Arnold Networks (KANs) have been suggested to offer intrinsic resistance to forgetting by leveraging localized spline-based activations. However, the practical behavior of KANs under continual learning remains unclear, and their limitations are not well understood. To address this, we present a comprehensive study of catastrophic forgetting in KANs and develop a theoretical framework that links forgetting to activation support overlap and intrinsic data dimension. We validate these analyses through systematic experiments on synthetic and vision tasks, measuring forgetting dynamics under varying model configurations and data complexity. Further, we introduce KAN-LoRA, a novel adapter design for parameter-efficient continual fine-tuning of language models, and evaluate its effectiveness in knowledge editing tasks. Our findings reveal that while KANs exhibit promising retention in low-dimensional algorithmic settings, they remain vulnerable to forgetting in high-dimensional domains such as image classification and language modeling. These results advance the understanding of KANs' strengths and limitations, offering practical insights for continual learning system design.
• Abstract（参考訳）: 破滅的な忘れは、モデルが新しいものを学ぶ際に、以前のタスクから知識を失うという、継続的な学習における長年の課題である。 MLP(Multi-Layer Perceptrons)に対する様々な緩和戦略が提案されているが、KAN(Kolmogorov-Arnold Networks)のような最近のアーキテクチャの進歩は、局所的なスプラインベースのアクティベーションを活用することによって、忘れることに固有の抵抗をもたらすことが示唆されている。 しかし、継続学習における観者の実践的行動はいまだ不明であり、その限界はよく理解されていない。 そこで本稿では, カネスにおける破滅的な忘れを包括的に研究し, 忘れをアクティベーション支援の重なり合いと本質的なデータ次元に結びつける理論的枠組みを開発する。 本研究は, モデル構成やデータ複雑度の違いを考慮し, 合成タスクと視覚タスクの系統的実験により, これらの解析を検証した。 さらに,パラメータ効率のよい言語モデルの連続的な微調整のための新しいアダプタ設計であるkan-LoRAを導入し,その知識編集における有効性を評価する。 これらの結果から,低次元のアルゴリズム設定では,感性保持が期待できるが,画像分類や言語モデリングといった高次元領域では忘れられにくいことが判明した。 これらの結果はカンスの強みと限界の理解を深め、継続的な学習システム設計のための実践的な洞察を提供する。

関連論文リスト

• Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning [17.299267108673277]
  ヘビアンラーニング(Hebbian learning)は、ニューロンが繰り返し刺激によって接続をどのように適応するかを直感的に記述する生物学的原理である。 本稿では,新しい教師なし学習手法である構造投影ヘビアン表現(SPHeRe)を紹介する。 実験結果から,SPHeReは教師なしシナプス可塑性アプローチにおいてSOTA性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-10-16T15:47:29Z)
• Scientific Machine Learning with Kolmogorov-Arnold Networks [0.0]
  科学機械学習の分野は、データエンコーディングにコルモゴロフ・アルノルドネットワーク(KAN)をますます採用している。 カンは、複雑な非線形相互作用のより効率的なモデリングを可能にする、解釈可能性と柔軟性の強化による問題に対処する。 本稿では,データ駆動学習(i)物理インフォームドモデリング(ii)深層学習(iii)の3つの観点から,KAモデルにおける最近の進歩を分類する。
  論文  参考訳（メタデータ） (2025-07-30T01:26:44Z)
• An Overview of Low-Rank Structures in the Training and Adaptation of Large Models [52.67110072923365]
  近年の研究では、低ランク構造の出現というディープネットワークの広範な現象が明らかになった。 これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。 深層学習のための低ランク構造の利用の進歩を概観し,その数学的基礎に光を当てる。
  論文  参考訳（メタデータ） (2025-03-25T17:26:09Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent Structure Learning [20.506232306308977]
  潜在構造モデルは、言語データをモデリングするための強力なツールである。 これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。 下流学習目標を引き上げる角度から潜在構造学習を探索する。
  論文  参考訳（メタデータ） (2020-10-05T21:56:00Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。