論文の概要: Improving Memory Efficiency for Training KANs via Meta Learning

• arxiv url: http://arxiv.org/abs/2506.07549v1
• Date: Mon, 09 Jun 2025 08:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.868858
• Title: Improving Memory Efficiency for Training KANs via Meta Learning
• Title（参考訳）: メタ学習による感性学習における記憶効率の向上
• Authors: Zhangchi Zhao, Jun Shu, Deyu Meng, Zongben Xu,
• Abstract要約: 我々は,MetaKANと呼ばれる,より小さなメタラーナーを用いて,kansの重みを生成することを提案する。 KansとMetaKanをエンドツーエンドの差別化方法でトレーニングすることで、MetaKanは同等あるいはそれ以上のパフォーマンスを達成できる。
• 参考スコア（独自算出の注目度）: 55.24089119864207
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Inspired by the Kolmogorov-Arnold representation theorem, KANs offer a novel framework for function approximation by replacing traditional neural network weights with learnable univariate functions. This design demonstrates significant potential as an efficient and interpretable alternative to traditional MLPs. However, KANs are characterized by a substantially larger number of trainable parameters, leading to challenges in memory efficiency and higher training costs compared to MLPs. To address this limitation, we propose to generate weights for KANs via a smaller meta-learner, called MetaKANs. By training KANs and MetaKANs in an end-to-end differentiable manner, MetaKANs achieve comparable or even superior performance while significantly reducing the number of trainable parameters and maintaining promising interpretability. Extensive experiments on diverse benchmark tasks, including symbolic regression, partial differential equation solving, and image classification, demonstrate the effectiveness of MetaKANs in improving parameter efficiency and memory usage. The proposed method provides an alternative technique for training KANs, that allows for greater scalability and extensibility, and narrows the training cost gap with MLPs stated in the original paper of KANs. Our code is available at https://github.com/Murphyzc/MetaKAN.
• Abstract（参考訳）: Kolmogorov-Arnold表現定理にインスパイアされたKansは、従来のニューラルネットワークの重みを学習可能な単変数関数に置き換えることで、関数近似の新しいフレームワークを提供する。 この設計は、従来のMLPに代わる効率的で解釈可能な代替品として有意義な可能性を証明している。 しかし、kan はトレーニング可能なパラメータがかなり多く、メモリ効率と MLP よりも高いトレーニングコストの課題に繋がる。 この制限に対処するため、我々はMetaKANと呼ばれるより小さなメタラーナーを用いてKansの重みを生成することを提案する。 KansとMetaKANをエンドツーエンドの差別化方法でトレーニングすることにより、MetaKANは、トレーニング可能なパラメータの数を著しく削減し、期待できる解釈可能性を維持しながら、同等またはそれ以上のパフォーマンスを達成する。 記号回帰、偏微分方程式の解法、画像分類を含む多様なベンチマークタスクに関する広範な実験は、パラメータ効率とメモリ使用量を改善するメタカンの有効性を実証している。 提案手法は, 拡張性と拡張性の向上を実現し, トレーニングコストのギャップを, Kans の原論文で述べた MLP と狭めるための代替手法を提供する。 私たちのコードはhttps://github.com/Murphyzc/MetaKAN.comで公開されています。

関連論文リスト

• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• Free-Knots Kolmogorov-Arnold Network: On the Analysis of Spline Knots and Advancing Stability [16.957071012748454]
  Kolmogorov-Arnold Neural Networks (KAN)は、機械学習コミュニティにおいて大きな注目を集めている。 しかしながら、それらの実装はトレーニングの安定性が悪く、重いトレーニング可能なパラメータに悩まされることが多い。 本研究では, スプラインノットのレンズによるカンの挙動を解析し, B-スプライン系カンの結び目数に対する上下境界を導出する。
  論文  参考訳（メタデータ） (2025-01-16T04:12:05Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Kolmogorov-Arnold Network for Online Reinforcement Learning [0.22615818641180724]
  Kolmogorov-Arnold Networks (KANs)は、ニューラルネットワークにおけるMLP(Multi-Layer Perceptrons)の代替としての可能性を示している。 Kansはパラメータが少なく、メモリ使用量が減ったユニバーサル関数近似を提供する。
  論文  参考訳（メタデータ） (2024-08-09T03:32:37Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。