論文の概要: KANMixer: Can KAN Serve as a New Modeling Core for Long-term Time Series Forecasting?
- arxiv url: http://arxiv.org/abs/2508.01575v1
- Date: Sun, 03 Aug 2025 04:03:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:21.946334
- Title: KANMixer: Can KAN Serve as a New Modeling Core for Long-term Time Series Forecasting?
- Title(参考訳): KanMixer: Kanは長期の時系列予測のための新しいモデリングコアとして機能できるのか?
- Authors: Lingyu Jiang, Yuping Wang, Yao Su, Shuo Xing, Wenjing Chen, Xin Zhang, Zhengzhong Tu, Ziming Zhang, Fangzhou Lin, Michael Zielewski, Kazunori D Yamada,
- Abstract要約: 我々は,kanの適応能力を完全に活用したマルチスケール混合バックボーンを統合した簡潔なアーキテクチャであるkanMixerを紹介する。
そこで,KanMixerは7つのベンチマークデータセットに対して,28実験のうち16実験で最先端のパフォーマンスを実現していることを示す。
- 参考スコア(独自算出の注目度): 17.96421618979159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, multilayer perceptrons (MLP)-based deep learning models have demonstrated remarkable success in long-term time series forecasting (LTSF). Existing approaches typically augment MLP backbones with hand-crafted external modules to address the inherent limitations of their flat architectures. Despite their success, these augmented methods neglect hierarchical locality and sequential inductive biases essential for time-series modeling, and recent studies indicate diminishing performance improvements. To overcome these limitations, we explore Kolmogorov-Arnold Networks (KAN), a recently proposed model featuring adaptive basis functions capable of granular, local modulation of nonlinearities. This raises a fundamental question: Can KAN serve as a new modeling core for LTSF? To answer this, we introduce KANMixer, a concise architecture integrating a multi-scale mixing backbone that fully leverages KAN's adaptive capabilities. Extensive evaluation demonstrates that KANMixer achieves state-of-the-art performance in 16 out of 28 experiments across seven benchmark datasets. To uncover the reasons behind this strong performance, we systematically analyze the strengths and limitations of KANMixer in comparison with traditional MLP architectures. Our findings reveal that the adaptive flexibility of KAN's learnable basis functions significantly transforms the influence of network structural prior on forecasting performance. Furthermore, we identify critical design factors affecting forecasting accuracy and offer practical insights for effectively utilizing KAN in LTSF. Together, these insights constitute the first empirically grounded guidelines for effectively leveraging KAN in LTSF. Code is available in the supplementary file.
- Abstract(参考訳): 近年,多層パーセプトロン(MLP)に基づくディープラーニングモデルは,長期時系列予測(LTSF)において顕著な成功を収めている。
既存のアプローチは通常、フラットアーキテクチャの固有の制限に対処するため、手作りの外部モジュールでMPPバックボーンを増強する。
彼らの成功にもかかわらず、これらの拡張手法は時系列モデリングに不可欠な階層的局所性と逐次帰納的バイアスを無視しており、近年の研究では性能改善の低下が示されている。
これらの制限を克服するために、最近提案された適応基底関数を特徴とする非線形の局所変調モデルであるコルモゴロフ・アルノルドネットワーク(KAN)を探索する。
kanはLTSFの新しいモデリングコアとして機能するのか?
そこで我々は,kanの適応能力を完全に活用したマルチスケール混合バックボーンを統合した簡潔なアーキテクチャであるkanMixerを紹介した。
広範囲な評価は、7つのベンチマークデータセットにわたる28実験のうち16実験でkanMixerが最先端のパフォーマンスを達成したことを示している。
この強力な性能の背景となる理由を明らかにするために,従来のMLPアーキテクチャと比較して,kanMixerの強度と限界を体系的に解析する。
その結果,kanの学習可能な基本関数の適応的柔軟性は,予測性能に先立ってネットワーク構造の影響を大きく変えることがわかった。
さらに,予測精度に影響を及ぼす重要な設計要因を特定し,LTSFにおけるkanを有効に活用するための実践的な洞察を提供する。
これらの知見はともに、LTSFにおけるkanを効果的に活用するための実証的なガイドラインとして、最初のものである。
コードは補足ファイルで入手できる。
関連論文リスト
- Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness [5.474797258314827]
Modulation Joint Kan (MJKAN)は、これらの課題を克服するために設計された新しいニューラルネットワーク層である。
MJKANは、FILM(Feature-wise Linear Modulation)のようなメカニズムと放射基底関数の活性化を統合している。
我々は,関数回帰,画像分類(MNIST, CIFAR-10/100),自然言語処理(AG News, SMS)など,様々なベンチマークでMJKANの性能を実証的に検証した。
論文 参考訳(メタデータ) (2025-07-07T06:13:32Z) - Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification [0.17999333451993949]
Kolmogorov-Arnold Networks (KAN) は最先端モデルのより解釈可能な代替として提案されている。
本稿では,時系列分類のためのKANアーキテクチャの包括的かつ堅牢な探索を実現することを目的とする。
その結果,(1)効率の良いKANは,タスク分類タスクに適した性能を示し,性能と計算効率に優れていた。
論文 参考訳(メタデータ) (2024-11-22T13:01:36Z) - A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。
Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。
コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
論文 参考訳(メタデータ) (2024-09-20T14:49:21Z) - High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2024-09-10T08:04:11Z) - Kolmogorov-Arnold Networks (KANs) for Time Series Analysis [6.932243286441558]
本稿では,KAN(Kolmogorov-Arnold Networks)の時系列予測への応用について紹介する。
コルモゴロフ・アルノルドの表現定理に着想を得たカンスは、伝統的な線型重みをスプラインパラメタライズされた単変数関数に置き換えた。
実世界の衛星トラフィック予測タスクにおいて,KANSAが従来のMLP(Multi-Layer Perceptrons)よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-05-14T17:38:17Z) - Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。
本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
論文 参考訳(メタデータ) (2023-10-27T04:42:59Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained
Language Models [68.9288651177564]
量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。
分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。
GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
論文 参考訳(メタデータ) (2022-03-02T13:44:49Z) - Learning representations with end-to-end models for improved remaining
useful life prognostics [64.80885001058572]
残りの設備の実用寿命(RUL)は、現在の時刻と故障までの期間として定義される。
マルチ層パーセプトロンと長期メモリ層(LSTM)に基づくエンドツーエンドのディープラーニングモデルを提案し、RULを予測する。
提案するエンド・ツー・エンドのモデルがこのような優れた結果を達成し、他のディープラーニングや最先端の手法と比較する方法について論じる。
論文 参考訳(メタデータ) (2021-04-11T16:45:18Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳(メタデータ) (2021-04-07T17:59:06Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。