論文の概要: SparseKAN: Compressing Kolmogorov--Arnold Networks Across Basis Functions, Neurons, and Bits

• arxiv url: http://arxiv.org/abs/2608.00859v1
• Date: Sat, 01 Aug 2026 20:42:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.964211
• Title: SparseKAN: Compressing Kolmogorov--Arnold Networks Across Basis Functions, Neurons, and Bits
• Title（参考訳）: SparseKAN: Kolmogorov--Arnold Networksを圧縮する
• Abstract要約: 基本関数,ニューロン/チャネル,数値精度の3つの相補的軸に沿ってkanを圧縮する統一的アプローチである textbfSparseKAN を提案する。 SparseKANは、基本分岐、非線形基底分岐、および個別基底項に、異なるアクティブコストの目的の下で訓練された階層的な学習可能なゲートを装備する。
• 参考スコア（独自算出の注目度）: 6.860988566886594
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Kolmogorov--Arnold Networks (KANs) replace scalar edge weights with learnable univariate functions parameterized by multiple basis coefficients. This introduces a source of redundancy that conventional neural-network compression does not directly expose. We present \textbf{SparseKAN}, a unified approach that compresses KANs along three complementary axes: basis functions, neurons/channels, and numerical precision. SparseKAN equips the base branch, nonlinear basis branch, and individual basis terms with hierarchical learnable gates trained under a differentiable active-cost objective. The learned importance structure is subsequently hardened under explicit basis and width budgets, recovered in full or low precision, and physically compacted into smaller dense tensors rather than retained as sparse masks. Experiments on MNIST, CIFAR-10, and CIFAR-100 across spline, polynomial, RBF, wavelet, and convolutional KAN variants show that the structural axes compose predictably in cost. We also find strong basis-dependent differences in term importance: coefficient-based selection outperforms matched low-order truncation by up to 15.25 accuracy points in the evaluated Gram-polynomial settings. Eight-bit quantization is broadly robust, whereas 4-bit convolutional KANs require quantization-aware adaptation. Physical compaction removes up to 73.0\% of parameters without accuracy loss on MNIST and reduces large-batch CUDA latency to as little as $0.51\times$ dense execution. On a ZCU104 FPGA, the resulting sparse low-bit models achieve up to $23.63\times$ lower inference latency, demonstrating that SparseKAN converts functional redundancy into measurable software and hardware efficiency. The SparseKAN implementation is available at https://github.com/OSU-STARLAB/SparseKAN.
• Abstract（参考訳）: Kolmogorov--Arnold Networks (KANs) は、スカラーエッジウェイトを、複数の基底係数でパラメータ化された学習可能な単変数関数に置き換える。 これにより、従来のニューラルネットワーク圧縮が直接公開しない冗長性の原因が導入された。 我々は、基底関数、ニューロン/チャネル、数値精度の3つの相補的軸に沿ってkansを圧縮する統一的なアプローチである、textbf{SparseKAN}を提案する。 SparseKANは、基本分岐、非線形基底分岐、および個別基底項に、異なるアクティブコストの目的の下で訓練された階層的な学習可能なゲートを装備する。 学習された重要構造はその後、明示的な基礎と幅の予算の下で硬化し、完全なまたは低い精度で回収され、スパースマスクとして保持されるのではなく、より小さな密度のテンソルに物理的にコンパクト化される。 MNIST, CIFAR-10, CIFAR-100のスプライン, 多項式, RBF, ウェーブレット, 畳み込みカンの変種に対する実験により, 構造軸は予測可能なコストで構成されることが示された。 係数ベースの選択性能は, 評価したグラムポリノミカル設定において, 低次トランケーションと最大15.25の精度で一致した。 8ビットの量子化は広範に堅牢であるが、4ビットの畳み込みカンは量子化対応を必要とする。 物理圧縮は、MNISTの精度を損なわずに最大73.0\%のパラメータを除去し、大バッチCUDAレイテンシを0.51\times$高密度実行に削減する。 ZCU104 FPGAでは、結果の少ない低ビットモデルで最大23.63\times$低い推論レイテンシを実現し、SparseKANが機能的冗長性を測定可能なソフトウェアとハードウェア効率に変換することを示した。 SparseKANの実装はhttps://github.com/OSU-STARLAB/SparseKANで公開されている。

関連論文リスト

• An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models [0.0]
  Kolmogorov--Arnold Networks (KAN) は多層パーセプトロン (MLP) の効率的な代替として提案されている。 本稿では,パラメータ効率がデプロイに有効かどうかを問う。
  論文  参考訳（メタデータ） (2026-08-01T16:20:24Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• KANtize: Exploring Low-bit Quantization of Kolmogorov-Arnold Networks for Efficient Inference [1.5102260054654923]
  Kolmogorov-Arnold Networks (KANs) は、MLP(Multi-Layer Perceptrons)を上回る可能性について注目されている。 本研究では,低ビット量子化がkanに与える影響と,計算複雑性とハードウェア効率に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-03-18T00:32:11Z)
• A Quantization-Aware Training Based Lightweight Method for Neural Distinguishers [4.751864584128287]
  2019年、ゴアはディープニューラルネットワークの微分暗号解析への応用を開拓した。 本研究では,量子化学習に基づく軽量なニューラル差別化手法を提案する。
  論文  参考訳（メタデータ） (2026-03-06T00:52:49Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks [6.860988566886594]
  Kolmogorov Arnold Networks (KAN) は、線形変換をスプラインベースの関数近似に置き換え、ネットワークエッジに沿って分散する。 カンは強い表現性と解釈性を提供するが、その不均一なスプラインと基底分岐パラメータは効率的な量子化を妨げる。 我々は、量子化意識トレーニング(QAT)とポストトレーニング量子化システムの両方にまたがって、kanを量子化する統合フレームワークであるQuantKANを提案する。
  論文  参考訳（メタデータ） (2025-11-24T02:05:16Z)
• MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network [8.780976521229741]
  Kolmogorov-Arnold Networks (KAN) はスカラーウェイトを基底係数のエッジベクトルに置き換える。 精度を犠牲にすることなく高圧縮性を実現するフレームワークであるMetaClusterを提案する。
  論文  参考訳（メタデータ） (2025-10-21T21:58:15Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。