論文の概要: KANs need curvature: penalties for compositional smoothness
- arxiv url: http://arxiv.org/abs/2605.02190v1
- Date: Mon, 04 May 2026 03:37:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.125419
- Title: KANs need curvature: penalties for compositional smoothness
- Title(参考訳): カンは曲率を必要とする:構成の滑らかさに対する罰則
- Authors: James Bagrow,
- Abstract要約: Kolmogorov-Arnoldネットワーク(KAN)は精度と解釈可能性の強力な組み合わせを提供する。
カンは病理学的に高い曲率の振動を示す傾向があり、解釈が困難である。
よりスムーズなアクティベーションを実現しつつ,ペナル化モデルによる精度の維持が可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kolmogorov-Arnold networks (KANs) offer a potent combination of accuracy and interpretability, thanks to their compositions of learnable univariate activation functions. However, the activations of well-fitting KANs tend to exhibit pathologically high-curvature oscillations, making them difficult to interpret, and standard regularization penalties do not prevent this. Here we derive a basis-agnostic curvature penalty and show that penalized models can maintain accuracy while achieving substantially smoother activations. Accounting for how function composition shapes curvature, we prove an upper bound on the full model's curvature relative to the curvature penalty, and use this to motivate richer forms of penalties. Scientific machine learning is increasingly bottlenecked by the trade-off between accuracy and interpretability. Results such as ours that improve interpretability without sacrificing accuracy will further strengthen KANs as a practical tool for both prediction and insight.
- Abstract(参考訳): Kolmogorov-Arnoldネットワーク(KAN)は、学習可能な単変量活性化関数の合成により、精度と解釈可能性の強力な組み合わせを提供する。
しかし、好適なカンの活性化は、病理学的に高い曲率の振動を示す傾向にあり、解釈が困難であり、標準正規化の罰則はそれを妨げない。
ここでは,基本非依存の曲率ペナルティを導出し,よりスムーズなアクティベーションを実現しつつ,ペナル化モデルが精度を維持することを示す。
関数構成が曲率をどう形成するかを考慮し、フルモデルの曲率を曲率のペナルティと比較して上界として証明し、これを用いてよりリッチな刑罰を動機付ける。
科学的機械学習は、精度と解釈可能性の間のトレードオフによって、ますますボトルネックになっている。
精度を犠牲にすることなく解釈性を向上する私たちのような成果は、予測と洞察の両面での実践的なツールとして、Kansをさらに強化するでしょう。
関連論文リスト
- CausalKANs: interpretable treatment effect estimation with Kolmogorov-Arnold networks [42.852654951995426]
causalKANsは、条件付き平均治療効果(CATE)の神経推定器をコルモゴロフ-アルノルドネットワーク(KAN)に変換するフレームワークである。
プルーニングと記号の単純化を取り入れることで、コーサルカンは予測精度を保ちながら解釈可能な閉形式式を得る。
論文 参考訳(メタデータ) (2025-09-26T15:16:06Z) - Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。
従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。
本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
論文 参考訳(メタデータ) (2025-06-27T15:05:37Z) - Training More Robust Classification Model via Discriminative Loss and Gaussian Noise Injection [7.535952418691443]
本稿では,クラス内コンパクト性を明示する最小層に適用した損失関数を提案する。
また、ノイズの多いデータクラスタをクリーンなクラスタに近づける、クラスワイズな機能アライメント機構を提案する。
提案手法は, クリーンなデータに対して高い精度を維持しながら, 各種摂動に対するモデルロバスト性を大幅に強化する。
論文 参考訳(メタデータ) (2024-05-28T18:10:45Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Good regularity creates large learning rate implicit biases: edge of
stability, balancing, and catapult [49.8719617899285]
非最適化のための客観的降下に適用された大きな学習速度は、安定性の端を含む様々な暗黙のバイアスをもたらす。
この論文は降下の初期段階を示し、これらの暗黙の偏見が実際には同じ氷山であることを示す。
論文 参考訳(メタデータ) (2023-10-26T01:11:17Z) - Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。
知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。
我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
論文 参考訳(メタデータ) (2023-05-27T21:25:55Z) - Curve Your Enthusiasm: Concurvity Regularization in Differentiable
Generalized Additive Models [5.519653885553456]
GAM(Generalized Additive Models)はその解釈可能性のために最近人気が回復した。
我々は,GAMの解釈可能性の低下がいかに深刻かを示す。
線形変換しない特徴変数の相互相関をペナルティ化した,概念的には単純だが効果的な正則化器を提案する。
論文 参考訳(メタデータ) (2023-05-19T06:55:49Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳(メタデータ) (2022-02-21T10:36:09Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。