論文の概要: Neural scaling laws and evolution of learnable activation functions of Kolmogorov-Arnold networks

• arxiv url: http://arxiv.org/abs/2610.00985v1
• Date: Thu, 01 Oct 2026 03:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.878062
• Title: Neural scaling laws and evolution of learnable activation functions of Kolmogorov-Arnold networks
• Title（参考訳）: コルモゴロフ・アルノルドネットワークのニューラルスケーリング則と学習可能な活性化関数の進化
• Abstract要約: Kolmogorov-Arnold Networks(KAN)は、従来のMLP(Multi-Layer Perceptron)ベースのニューラルネットワークに代わる魅力的な選択肢である。 本研究では,KANSAのニューラルスケーリング法則と,データセット拡張下での学習可能なアクティベーション関数の構造的進化について検討する。
• 参考スコア（独自算出の注目度）: 14.032994553738847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) represent a compelling alternative to traditional Multi-Layer Perceptron (MLP)-based neural networks. By employing activation functions as learnable elements, KANs offer superior interpretability, making them suited for scientific domains. In this work, we investigate the neural scaling laws of KANs and the structural evolution of their learnable activation functions under dataset expansion. Specifically, we evaluate the scaling behavior of three KAN variants---BSRBF-KAN, Gottlieb-KAN, and Faster-KAN---across standard image classification benchmarks (MNIST and Fashion-MNIST) and a specialized scientific regression task (magnetic parameter estimation from domain images of moiré magnetic textures). Our results demonstrate that the test loss ${\cal L}$ exhibits a broken neural scaling law (BNSL) behavior as a function of the dataset size $N_D$. After passing through a random-guess regime, the loss follows architecture- and task-dependent scaling behavior. The loss crosses from a faster- to a slower-scaling branch, ${\cal L}\propto N_D^{-α}$ and ${\cal L}\propto N_D^{-β}$ with $α>β$ for image classification tasks. The exponents $α$ and $β$ depend strongly on both the specific network architecture and the dataset-size regime, ranging from 0.4 to 1.5 and from 0.06 to 0.6, respectively. For the magnetic parameter-regression task, the loss follows a single scaling law with its exponent ranging from 1.28 to 2.59. Additionally, we provide a structural analysis of how activation functions refine their complexity as data volume increases, finding that dataset expansion drives a transition from simple linear-like approximations toward stable, interpretable symbolic forms. These findings provide a quantitative roadmap for the efficient application of KANs while managing the trade-off between model expressivity and computational overhead.
• Abstract（参考訳）: Kolmogorov-Arnold Networks(KAN)は、従来のMLP(Multi-Layer Perceptron)ベースのニューラルネットワークに代わる魅力的な代替手段である。 アクティベーション関数を学習可能な要素として活用することにより、カンは優れた解釈可能性を提供し、科学領域に適している。 そこで本研究では,KANSAのニューラルスケーリング法則と,データセット拡張下での学習可能なアクティベーション関数の構造的進化について検討する。 具体的には,BSRBF-KAN,Gottlieb-KAN,Faster-KANと標準画像分類ベンチマーク(MNIST,Fashion-MNIST)と特殊科学的回帰タスク(モアレ磁気テクスチャの領域画像からの磁気パラメータ推定)のスケーリング挙動を評価する。 その結果、テスト損失${\cal L}$は、データセットサイズ$N_D$の関数として、BNSLの動作が壊れたことを示す。 ランダムなゲス体制を通過した後、損失はアーキテクチャとタスク依存のスケーリング行動に従う。 この損失は、高速にスケールするブランチである${\cal L}\propto N_D^{-β}$と${\cal L}\propto N_D^{-β}$と、画像分類タスクの$α>β$に渡る。 指数$α$と$β$は、それぞれ0.4から1.5から0.06から0.6まで、特定のネットワークアーキテクチャとデータセットサイズ体制の両方に強く依存している。 磁気パラメータ回帰タスクでは、損失は1.28から2.59までの指数を持つ単一のスケーリング法則に従う。 さらに,データ量の増加に伴い,アクティベーション関数の複雑性が向上する構造解析を行い,データセットの拡張によって,単純な線形近似から安定な解釈可能な記号形式への遷移が促進されることを示した。 これらの結果は、モデル表現性と計算オーバーヘッドのトレードオフを管理しながら、kansの効率的な適用のための定量的ロードマップを提供する。

関連論文リスト

• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization [15.517787031620864]
  LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。 LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。 我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
  論文  参考訳（メタデータ） (2023-05-07T13:05:09Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Normalization effects on shallow neural networks and related asymptotic expansions [20.48472873675696]
  特に、ニューラルネットワークの正規化に繋がる異なるスケーリングスキームが、ネットワークの統計的出力に与える影響について検討する。 我々は、隠れたユニットの数が無限に増加するにつれて、スケーリングパラメータに関して、ニューラルネットワークの統計的出力をポイントワイズに拡張する。 我々は,ニューラルネットワークの統計的出力のばらつきが,平均場正規化に近づくにつれて,$N$で先行する傾向を示す。
  論文  参考訳（メタデータ） (2020-11-20T16:33:28Z)
• A Neural Scaling Law from the Dimension of the Data Manifold [8.656787568717252]
  データが豊富であれば、よく訓練されたニューラルネットワークによって達成される損失は、ネットワークパラメータの数でN-alpha$のパワーロープロットとしてスケールする。 スケーリングの法則は、ニューラルモデルが本質的に内在次元$d$のデータ多様体上で回帰を行えば説明できる。 この単純な理論は、スケーリング指数が、クロスエントロピーと平均二乗誤差損失に対して$alpha approx 4/d$となることを予測している。
  論文  参考訳（メタデータ） (2020-04-22T19:16:06Z)
• LiSHT: Non-Parametric Linearly Scaled Hyperbolic Tangent Activation Function for Neural Networks [14.943863837083496]
  我々は,Tanhを線形にスケーリングすることで,ニューラルネットワーク(NN)のための線形スケールハイパーボリックタンジェント(LiSHT)を提案する。 マルチレイヤ・パーセプトロン(MLP)、Residual Network(ResNet)、Long-Short term memory(LSTM)を用いて、データ分類、画像分類、つぶやき分類タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2019-01-01T02:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。