論文の概要: QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks

• arxiv url: http://arxiv.org/abs/2511.18689v1
• Date: Mon, 24 Nov 2025 02:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.973514
• Title: QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks
• Title（参考訳）: QuantKAN: Kolmogorov Arnold Networks用の統一量子化フレームワーク
• Authors: Kazi Ahmed Asif Fuad, Lizhong Chen,
• Abstract要約: Kolmogorov Arnold Networks (KAN) は、線形変換をスプラインベースの関数近似に置き換え、ネットワークエッジに沿って分散する。 カンは強い表現性と解釈性を提供するが、その不均一なスプラインと基底分岐パラメータは効率的な量子化を妨げる。 我々は、量子化意識トレーニング(QAT)とポストトレーニング量子化システムの両方にまたがって、kanを量子化する統合フレームワークであるQuantKANを提案する。
• 参考スコア（独自算出の注目度）: 6.860988566886594
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Kolmogorov Arnold Networks (KANs) represent a new class of neural architectures that replace conventional linear transformations and node-based nonlinearities with spline-based function approximations distributed along network edges. Although KANs offer strong expressivity and interpretability, their heterogeneous spline and base branch parameters hinder efficient quantization, which remains unexamined compared to CNNs and Transformers. In this paper, we present QuantKAN, a unified framework for quantizing KANs across both quantization aware training (QAT) and post-training quantization (PTQ) regimes. QuantKAN extends modern quantization algorithms, such as LSQ, LSQ+, PACT, DoReFa, QIL, GPTQ, BRECQ, AdaRound, AWQ, and HAWQ-V2, to spline based layers with branch-specific quantizers for base, spline, and activation components. Through extensive experiments on MNIST, CIFAR 10, and CIFAR 100 across multiple KAN variants (EfficientKAN, FastKAN, PyKAN, and KAGN), we establish the first systematic benchmarks for low-bit spline networks. Our results show that KANs, particularly deeper KAGN variants, are compatible with low-bit quantization but exhibit strong method architecture interactions: LSQ, LSQ+, and PACT preserve near full precision accuracy at 4 bit for shallow KAN MLP and ConvNet models, while DoReFa provides the most stable behavior for deeper KAGN under aggressive low-bit settings. For PTQ, GPTQ and Uniform consistently deliver the strongest overall performance across datasets, with BRECQ highly competitive on simpler regimes such as MNIST. Our proposed QuantKAN framework thus unifies spline learning and quantization, and provides practical tools and guidelines for efficiently deploying KANs in real-world, resource-constrained environments.
• Abstract（参考訳）: Kolmogorov Arnold Networks (KAN) は、従来の線形変換とノードベースの非線形性を、ネットワークエッジに沿って分散されたスプラインベースの関数近似に置き換える新しいタイプのニューラルネットワークである。 カンは強い表現性と解釈性を提供するが、その不均一なスプラインと基底分岐パラメータは効率的な量子化を妨げる。 本稿では、量子化意識トレーニング(QAT)と後学習量子化(PTQ)の両方の制度で、kanを定量化する統合フレームワークであるQuantKANを提案する。 QuantKANは、LSQ, LSQ+, PACT, DoReFa, QIL, GPTQ, BRECQ, AdaRound, AWQ, HAWQ-V2といった現代の量子化アルゴリズムを拡張し、ベース、スプライン、アクティベーションコンポーネント用の分岐特異的量子化器をスプラインする。 MNIST, CIFAR 10, CIFAR 100 を複数の Kan 変種 (EfficientKAN, FastKAN, PyKAN, KAGN) で行った広範な実験により, 低ビットスプラインネットワークのための最初の体系的ベンチマークを確立した。 LSQ, LSQ+, PACTは, 浅部Kan MLPおよびConvNetモデルでは4ビットで完全精度を保ち, DoReFaは強い低ビット設定下での深いKAGNに対して最も安定した動作を提供する。 PTQ、GPTQ、Uniformはデータセット全体で最強の全体的なパフォーマンスを提供する。 提案するQuantKANフレームワークは,スプライン学習と量子化を一体化し,実環境や資源制約のある環境において,kanを効率的にデプロイするための実践的なツールとガイドラインを提供する。

関連論文リスト

• Cat: Post-Training Quantization Error Reduction via Cluster-based Affine Transformation [47.791962198275066]
  Post-Training Quantization (PTQ)は、フル精度(FP)値を量子化および圧縮データタイプに変換することにより、ディープニューラルネットワークのメモリフットプリントと計算オーバーヘッドを低減する。 PTQはQAT(Quantization-Aware Training)よりもコスト効率が高いが、低ビット量子化条件下での精度劣化に非常に敏感である。 本稿ではクラスタベースのアフィン変換(CAT)を提案する。クラスタ固有のパラメータを用いて,LQ出力をFP出力と整合させる。
  論文  参考訳（メタデータ） (2025-09-30T14:00:28Z)
• Enhanced Variational Quantum Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Network (KAN) は、ニューロモルフィックコンピューティングにおいてその効率が認められた新しい多層ネットワークモデルである。 Kanはブロックエンコーディングと量子信号処理を使って量子コンピュータに実装できるが、これらの方法はフォールトトレラントな量子デバイスを必要とする。 本稿では,この制限を克服するための拡張変分量子コルモゴロフ・アルノルドネットワーク(EVQKAN)を提案する。
  論文  参考訳（メタデータ） (2025-03-28T16:47:42Z)
• Quantized Approximately Orthogonal Recurrent Neural Networks [6.524758376347808]
  ORNNにおける重み行列の量子化を探求し、ほぼ直交RNN(QORNN)を量子化する。 本稿では,量子化学習(QAT)と計算予測を組み合わせた2つのQORNN学習手法を提案する。 最も効率的なモデルは、4ビットの量子化であっても、様々な標準ベンチマークで最先端のフル精度ORNN、LSTM、FastRNNと同様の結果が得られる。
  論文  参考訳（メタデータ） (2024-02-05T09:59:57Z)
• EQ-Net: Elastic Quantization Neural Networks [15.289359357583079]
  Elastic Quantization Neural Networks (EQ-Net) は、堅牢な重み共有量子化スーパーネットのトレーニングを目的としている。 本稿では, 様々な主要な量形式に対応するために, 弾性量子化空間(弾性ビット幅, 粒度, 対称性を含む)を提案する。 遺伝的アルゴリズムと,提案した条件量子化対応条件精度予測器(CQAP)を推定器として組み込んで,混合精度量子ニューラルネットワークを高速に探索する。
  論文  参考訳（メタデータ） (2023-08-15T08:57:03Z)
• Scaling Limits of Quantum Repeater Networks [62.75241407271626]
  量子ネットワーク(QN)は、セキュアな通信、強化されたセンシング、効率的な分散量子コンピューティングのための有望なプラットフォームである。 量子状態の脆弱な性質のため、これらのネットワークはスケーラビリティの観点から大きな課題に直面している。 本稿では,量子リピータネットワーク(QRN)のスケーリング限界について解析する。
  論文  参考訳（メタデータ） (2023-05-15T14:57:01Z)
• Distribution-Flexible Subset Quantization for Post-Quantizing Super-Resolution Networks [68.83451203841624]
  本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。 DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する 6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
  論文  参考訳（メタデータ） (2023-05-10T04:19:11Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction [29.040991149922615]
  PTQ(Post-training Quantization)という,エンドツーエンドの再トレーニングを伴わないニューラルネットワーク量子化の課題について検討する。 本稿では,PTQ のビット幅制限を INT2 に初めて押し下げる BRECQ という新しい PTQ フレームワークを提案する。 初めて、ベルとホイッスルなしで、PTQはQATに匹敵する4ビットのResNetとMobileNetV2を達成でき、量子化されたモデルの240倍高速な生産を享受できることを証明した。
  論文  参考訳（メタデータ） (2021-02-10T13:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。