論文の概要: MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network

• arxiv url: http://arxiv.org/abs/2510.19105v1
• Date: Tue, 21 Oct 2025 21:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.73346
• Title: MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network
• Title（参考訳）: MetaCluster: Kolmogorov-Arnoldネットワークの深い圧縮を実現する
• Authors: Matthew Raffel, Adwaith Renjith, Lizhong Chen,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) はスカラーウェイトを基底係数のエッジベクトルに置き換える。 精度を犠牲にすることなく高圧縮性を実現するフレームワークであるMetaClusterを提案する。
• 参考スコア（独自算出の注目度）: 8.780976521229741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) replace scalar weights with per-edge vectors of basis coefficients, thereby boosting expressivity and accuracy but at the same time resulting in a multiplicative increase in parameters and memory. We propose MetaCluster, a framework that makes KANs highly compressible without sacrificing accuracy. Specifically, a lightweight meta-learner, trained jointly with the KAN, is used to map low-dimensional embedding to coefficient vectors, shaping them to lie on a low-dimensional manifold that is amenable to clustering. We then run K-means in coefficient space and replace per-edge vectors with shared centroids. Afterwards, the meta-learner can be discarded, and a brief fine-tuning of the centroid codebook recovers any residual accuracy loss. The resulting model stores only a small codebook and per-edge indices, exploiting the vector nature of KAN parameters to amortize storage across multiple coefficients. On MNIST, CIFAR-10, and CIFAR-100, across standard KANs and ConvKANs using multiple basis functions, MetaCluster achieves a reduction of up to 80$\times$ in parameter storage, with no loss in accuracy. Code will be released upon publication.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、スカラーウェイトを基底係数のエッジベクトルに置き換え、表現性と精度を高めると同時に、パラメータとメモリの乗法的増加をもたらす。 精度を犠牲にすることなく高圧縮性を実現するフレームワークであるMetaClusterを提案する。 具体的には、kanと共同で訓練された軽量メタラーナーを用いて、低次元埋め込みを係数ベクトルにマッピングし、クラスタリングに適する低次元多様体上に配置する。 すると、K-平均を係数空間で実行し、エッジベクトルを共有セントロイドに置き換える。 その後、メタリアナーを破棄することができ、Centroidコードブックの簡単な微調整により、残留した精度の損失が回復する。 結果として得られたモデルは、小さなコードブックとエッジ単位のインデックスのみを格納し、Kanパラメータのベクトル特性を利用して、複数の係数にまたがるストレージを再生する。 MNIST、CIFAR-10、CIFAR-100では、複数の基底関数を使用して標準のkanとConvKANをまたいだMetaClusterは、パラメータストレージの最大80$\times$を、精度を損なわずに達成している。 コードは出版時に公開される。

関連論文リスト

• COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning [5.595343998068235]
  CoSpaDiは、低ランクの分解をより柔軟な構造化されたスパース分解に置き換える、トレーニング不要の圧縮フレームワークである。 複数のLlamaモデルとQwenモデルにまたがるCoSpaDiを,20～50%の圧縮比で層間および群間設定で評価した。
  論文  参考訳（メタデータ） (2025-09-26T08:55:09Z)
• Lookup multivariate Kolmogorov-Arnold Networks [5.639419519849473]
  高次元線形写像は、現代のディープラーニングモデルのパラメータ数と計算コストの両方を支配している。 汎用的なドロップイン置換, ルックアップ多変数Kolmogorov-Arnold Networks (lmKANs)を導入する。 lmKANはキャパシティと推論コストのトレードオフを著しく改善します。
  論文  参考訳（メタデータ） (2025-09-08T18:00:35Z)
• HAC++: Towards 100X Compression of 3D Gaussian Splatting [55.6351304553003]
  3D Gaussian Splatting (3DGS)は、新しいビュー合成のための有望なフレームワークとして登場し、高速レンダリング速度と高忠実さを誇っている。 しかし、ガウスの点雲(あるいは論文のアンカー)のスパースで非組織的な性質は、圧縮の課題を提起している。 本研究では,非組織型アンカーと構造化ハッシュグリッドの関係を利用したHAC++を提案する。
  論文  参考訳（メタデータ） (2025-01-21T16:23:05Z)
• SWSC: Shared Weight for Similar Channel in LLM [6.795209523806925]
  大規模言語モデル(LLM)は、複数の産業で発展を加速させている。 類似チャネルに対する共有重みの概念に基づくLLM圧縮手法であるSWSCを提案する。
  論文  参考訳（メタデータ） (2025-01-15T07:36:19Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression [55.6351304553003]
  3D Gaussian Splatting (3DGS) は、新しいビュー合成のための有望なフレームワークとして登場した。 高速な3DGS表現のためのHash-grid Assisted Context (HAC) フレームワークを提案する。 私たちの研究は、コンテキストベースの3DGS表現の圧縮を探求するパイオニアです。
  論文  参考訳（メタデータ） (2024-03-21T16:28:58Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。