論文の概要: MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network

• arxiv url: http://arxiv.org/abs/2510.19105v1
• Date: Tue, 21 Oct 2025 21:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.73346
• Title: MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network
• Title（参考訳）: MetaCluster: Kolmogorov-Arnoldネットワークの深い圧縮を実現する
• Authors: Matthew Raffel, Adwaith Renjith, Lizhong Chen,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) はスカラーウェイトを基底係数のエッジベクトルに置き換える。 精度を犠牲にすることなく高圧縮性を実現するフレームワークであるMetaClusterを提案する。
• 参考スコア（独自算出の注目度）: 8.780976521229741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) replace scalar weights with per-edge vectors of basis coefficients, thereby boosting expressivity and accuracy but at the same time resulting in a multiplicative increase in parameters and memory. We propose MetaCluster, a framework that makes KANs highly compressible without sacrificing accuracy. Specifically, a lightweight meta-learner, trained jointly with the KAN, is used to map low-dimensional embedding to coefficient vectors, shaping them to lie on a low-dimensional manifold that is amenable to clustering. We then run K-means in coefficient space and replace per-edge vectors with shared centroids. Afterwards, the meta-learner can be discarded, and a brief fine-tuning of the centroid codebook recovers any residual accuracy loss. The resulting model stores only a small codebook and per-edge indices, exploiting the vector nature of KAN parameters to amortize storage across multiple coefficients. On MNIST, CIFAR-10, and CIFAR-100, across standard KANs and ConvKANs using multiple basis functions, MetaCluster achieves a reduction of up to 80$\times$ in parameter storage, with no loss in accuracy. Code will be released upon publication.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、スカラーウェイトを基底係数のエッジベクトルに置き換え、表現性と精度を高めると同時に、パラメータとメモリの乗法的増加をもたらす。 精度を犠牲にすることなく高圧縮性を実現するフレームワークであるMetaClusterを提案する。 具体的には、kanと共同で訓練された軽量メタラーナーを用いて、低次元埋め込みを係数ベクトルにマッピングし、クラスタリングに適する低次元多様体上に配置する。 すると、K-平均を係数空間で実行し、エッジベクトルを共有セントロイドに置き換える。 その後、メタリアナーを破棄することができ、Centroidコードブックの簡単な微調整により、残留した精度の損失が回復する。 結果として得られたモデルは、小さなコードブックとエッジ単位のインデックスのみを格納し、Kanパラメータのベクトル特性を利用して、複数の係数にまたがるストレージを再生する。 MNIST、CIFAR-10、CIFAR-100では、複数の基底関数を使用して標準のkanとConvKANをまたいだMetaClusterは、パラメータストレージの最大80$\times$を、精度を損なわずに達成している。 コードは出版時に公開される。

関連論文リスト

• COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression [5.280540253822294]
  Transformer モデルの学習後圧縮は、通常、切り離された特異値分解(SVD)に依存する 我々は、小さなキャリブレーションデータセットを用いてスパース重み分解を推定する、トレーニング不要な圧縮フレームワークCompotを提案する。 COMPOTは、強い低ランクとスパースベースラインよりも優れた品質圧縮トレードオフを一貫して提供します。
  論文  参考訳（メタデータ） (2026-02-16T21:31:34Z)
• Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression [11.908793753919745]
  白色座標における特異成分選択を行うポストトレーニング法であるtextbfZero Sum SVD (textbfZS-SVD) を提案する。 textbfZS-SVDは、累積的な損失変化を0付近に保持する textbfzero sum ルールで、モデル全体のコンポーネントをプルーする。 実験では、様々なベンチマークと圧縮比で一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-02T21:51:01Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning [5.595343998068235]
  CoSpaDiは、低ランクの分解をより柔軟な構造化されたスパース分解に置き換える、トレーニング不要の圧縮フレームワークである。 複数のLlamaモデルとQwenモデルにまたがるCoSpaDiを,20～50%の圧縮比で層間および群間設定で評価した。
  論文  参考訳（メタデータ） (2025-09-26T08:55:09Z)
• Lookup multivariate Kolmogorov-Arnold Networks [5.639419519849473]
  高次元線形写像は、現代のディープラーニングモデルのパラメータ数と計算コストの両方を支配している。 汎用的なドロップイン置換, ルックアップ多変数Kolmogorov-Arnold Networks (lmKANs)を導入する。 lmKANはキャパシティと推論コストのトレードオフを著しく改善します。
  論文  参考訳（メタデータ） (2025-09-08T18:00:35Z)
• HAC++: Towards 100X Compression of 3D Gaussian Splatting [55.6351304553003]
  3D Gaussian Splatting (3DGS)は、新しいビュー合成のための有望なフレームワークとして登場し、高速レンダリング速度と高忠実さを誇っている。 しかし、ガウスの点雲(あるいは論文のアンカー)のスパースで非組織的な性質は、圧縮の課題を提起している。 本研究では,非組織型アンカーと構造化ハッシュグリッドの関係を利用したHAC++を提案する。
  論文  参考訳（メタデータ） (2025-01-21T16:23:05Z)
• SWSC: Shared Weight for Similar Channel in LLM [6.795209523806925]
  大規模言語モデル(LLM)は、複数の産業で発展を加速させている。 類似チャネルに対する共有重みの概念に基づくLLM圧縮手法であるSWSCを提案する。
  論文  参考訳（メタデータ） (2025-01-15T07:36:19Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression [55.6351304553003]
  3D Gaussian Splatting (3DGS) は、新しいビュー合成のための有望なフレームワークとして登場した。 高速な3DGS表現のためのHash-grid Assisted Context (HAC) フレームワークを提案する。 私たちの研究は、コンテキストベースの3DGS表現の圧縮を探求するパイオニアです。
  論文  参考訳（メタデータ） (2024-03-21T16:28:58Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Kernel Quantization for Efficient Network Compression [59.55192551370948]
  Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。 重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。 ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
  論文  参考訳（メタデータ） (2020-03-11T08:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。