論文の概要: PolyKAN: A Polyhedral Analysis Framework for Provable and Approximately Optimal KAN Compression
- arxiv url: http://arxiv.org/abs/2510.04205v2
- Date: Wed, 08 Oct 2025 03:27:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 12:02:36.796335
- Title: PolyKAN: A Polyhedral Analysis Framework for Provable and Approximately Optimal KAN Compression
- Title(参考訳): PolyKAN: 確率的およびほぼ最適カン圧縮のための多面解析フレームワーク
- Authors: Di Zhang,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) は、従来のマルチ層パーセプトロン(MLP)に代わる有望な代替品として登場した。
本稿では, モデルサイズ削減と近似誤差の両面を形式的に保証する, カン圧縮のための新しい理論フレームワークであるPolyKANを紹介する。
- 参考スコア(独自算出の注目度): 8.201374511929538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kolmogorov-Arnold Networks (KANs) have emerged as a promising alternative to traditional Multi-Layer Perceptrons (MLPs), offering enhanced interpretability and a solid mathematical foundation. However, their parameter efficiency remains a significant challenge for practical deployment. This paper introduces PolyKAN, a novel theoretical framework for KAN compression that provides formal guarantees on both model size reduction and approximation error. By leveraging the inherent piecewise polynomial structure of KANs, we formulate the compression problem as a polyhedral region merging task. We establish a rigorous polyhedral characterization of KANs, develop a complete theory of $\epsilon$-equivalent compression, and design a dynamic programming algorithm that achieves approximately optimal compression under specified error bounds. Our theoretical analysis demonstrates that PolyKAN achieves provably near-optimal compression while maintaining strict error control, with guaranteed global optimality for univariate spline functions. This framework provides the first formal foundation for KAN compression with mathematical guarantees, opening new directions for the efficient deployment of interpretable neural architectures.
- Abstract(参考訳): Kolmogorov-Arnold Networks (KANs) は従来のMLP(Multi-Layer Perceptrons)に代わる有望な代替品として登場し、解釈可能性の向上と数学的基盤の確立を実現している。
しかし、それらのパラメータ効率は、実際的な展開において重要な課題である。
本稿では, モデルサイズ削減と近似誤差の両面を形式的に保証する, カン圧縮のための新しい理論フレームワークであるPolyKANを紹介する。
kansの固有部分多項式構造を利用することで、圧縮問題を多面体領域のマージタスクとして定式化する。
我々は Kan の厳密な多面的特徴付けを確立し、$\epsilon$-equivalent 圧縮の完全理論を開発し、指定された誤差境界の下でほぼ最適な圧縮を実現する動的プログラミングアルゴリズムを設計する。
理論解析により,ポリカンは厳密な誤差制御を維持しつつ,一変量スプライン関数に対する大域的最適性を保証しながら,ほぼ最適に圧縮できることを示す。
このフレームワークは、数式保証付きkan圧縮のための最初の公式な基盤を提供し、解釈可能なニューラルアーキテクチャの効率的なデプロイのための新しい方向性を開放する。
関連論文リスト
- DeePoly: A High-Order Accuracy Scientific Machine Learning Framework for Function Approximation and Solving PDEs [5.483488375189695]
この研究は、Deeソリューションを2段階のアプローチに変換する新しいフレームワークを紹介します。
戦略的な組み合わせは、両方の方法の強みを利用する。
このアプローチはオープンソースプロジェクトとしても機能し、論文としても機能します。
論文 参考訳(メタデータ) (2025-06-05T04:10:52Z) - Input convex neural networks: universal approximation theorem and implementation for isotropic polyconvex hyperelastic energies [0.0]
本稿では,普遍的な数学的制約を同時に満たしながら,必要な物理的制約と数学的制約を強制する新しい枠組みを提案する。
提案されたアプローチに対する普遍的な定理が証明されている。
提案したネットワークは任意のフレームイン、等方性多エネルギー(ネットワークが大きければ)が可能である。
既存の手法は提案手法の利点を識別する。
論文 参考訳(メタデータ) (2025-02-12T16:15:03Z) - HKAN: Hierarchical Kolmogorov-Arnold Network without Backpropagation [1.3812010983144802]
階層型コルモゴロフ・アルノルドネットワーク(Hierarchical Kolmogorov-Arnold Network、HKAN)は、最近提案されたコルモゴロフ・アルノルドネットワーク(KAN)に代わる新しいネットワークアーキテクチャである。
HKANはランダムな学習手法を採用し、基底関数のパラメータを固定し、最小二乗回帰を用いて線形集約を最適化する。
実証的な結果から、HKANは様々な回帰タスクにまたがって、カンに対して優れた精度と安定性を提供すると同時に、変数の重要性に関する洞察を提供する。
論文 参考訳(メタデータ) (2025-01-30T08:44:54Z) - Controlling the Complexity and Lipschitz Constant improves polynomial
nets [55.121200972539114]
多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。
本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
論文 参考訳(メタデータ) (2022-02-10T14:54:29Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳(メタデータ) (2020-07-01T04:35:00Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳(メタデータ) (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。