論文の概要: SHARe-KAN: Holographic Vector Quantization for Memory-Bound Inference

• arxiv url: http://arxiv.org/abs/2512.15742v1
• Date: Wed, 10 Dec 2025 04:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.642831
• Title: SHARe-KAN: Holographic Vector Quantization for Memory-Bound Inference
• Title（参考訳）: SHARe-KAN:メモリ境界推論のためのホログラフィックベクトル量子化
• Authors: Jeff Smith,
• Abstract要約: ビジョン・カンはホログラフィック・トポロジーを示しており、情報は特定のエッジに局所化されるのではなく、スプラインの干渉によって分散される。 本稿では,ゲイン形状バイアスベクトル量子化を利用した高密度トポロジーを保ちながら機能的冗長性を利用するフレームワークであるSHARe-KANを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) face a fundamental memory wall: their learned basis functions create parameter counts that impose extreme bandwidth demands, hindering deployment in memory-constrained environments. We show that Vision KANs exhibit a holographic topology, where information is distributed across the interference of splines rather than localized to specific edges. Consequently, traditional pruning fails (10% sparsity degrades mAP from 85.23% to 45%, a $\sim$40-point drop). To address this, we present SHARe-KAN, a framework utilizing Gain-Shape-Bias Vector Quantization to exploit functional redundancy while preserving the dense topology. Coupled with LUTHAM, a hardware-aware compiler with static memory planning, we achieve $88\times$ runtime memory reduction (1.13 GB $\to$ 12.91 MB) and match uncompressed baseline accuracy on PASCAL VOC. Profiling on NVIDIA Ampere architecture confirms $>90\%$ L2 cache residency, demonstrating that the workload is decoupled from DRAM bandwidth constraints inherent to spline-based architectures.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は基本的なメモリウォールに直面している。 ビジョン・カンはホログラフィック・トポロジを示し、情報を特定のエッジに局所化するのではなく、スプラインの干渉に分散させる。 その結果、伝統的なプルーニングは失敗する(10%のスパシティはmAPを85.23%から45%に低下させ、$\sim$40-point drop)。 そこで我々は,高密度トポロジを保ちながら機能的冗長性を活用するために,ゲイン形状ベクトル量子化を利用したSHARe-KANを提案する。 静的メモリプランニングを備えたハードウェア対応コンパイラLUTHAMと組み合わせて,ランタイムメモリの削減 (1.13 GB $\to$ 12.91 MB) を実現し,PASCAL VOCの非圧縮ベースライン精度にマッチする。 NVIDIA Ampereアーキテクチャのプロファイリングでは、90\%$ L2キャッシュ常駐が確認されており、ワークロードがスプラインベースのアーキテクチャ固有のDRAM帯域制限から切り離されていることを実証している。

関連論文リスト

• CXL-SpecKV: A Disaggregated FPGA Speculative KV-Cache for Datacenter LLM Serving [5.216774377033164]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 LLMはキー値(KV)キャッシュの大規模なメモリ要求のため、課題に直面している。 我々は,新しい分散KV-cacheアーキテクチャである textbfCXL-SpecKV を提案する。
  論文  参考訳（メタデータ） (2025-12-11T15:40:36Z)
• Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System [20.652641518700346]
  大規模言語モデル(LLM)推論は、メモリ帯域幅によってますます制限される。 現代のAIハードウェアは、高速オフパッケージDRAMと高速帯域メモリ(HBM)を統合している。 本研究は,キャパシティ制約下での集積帯域利用を最大化するために,そのようなシステムにまたがる動的KVキャッシュ配置について検討する。
  論文  参考訳（メタデータ） (2025-08-17T19:07:08Z)
• XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization [58.92253769255316]
  LLM推論はメモリフットプリントと帯域幅の要求のために困難である。 XQuantは、ハードウェアプラットフォームの急速に増加する計算能力を利用して、メモリボトルネックを取り除く。 XQuant-CLは、極端な圧縮のためにX埋め込みの層間類似性を利用する。
  論文  参考訳（メタデータ） (2025-08-14T06:52:38Z)
• HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading [79.38548165722229]
  HEADINFERはKVキャッシュをCPURAMにオフロードするが、GPU上のトランスフォーマー層のKVキャッシュを完全に保存する必要はない。 HEADINFERはメモリフットプリントを大幅に削減し,計算効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-02-18T06:26:05Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• GEMEL: Model Merging for Memory-Efficient, Real-Time Video Analytics at the Edge [10.276140547573437]
  エッジビジョンモデル間のアーキテクチャ的類似性を利用した新しいメモリ管理手法であるモデルマージを提案する。 多様なワークロードに対する実験により、GEMELはメモリ使用量を最大60.7%削減し、時間/空間の共有のみと比較して、全体的な精度を8～39%向上することが明らかになった。
  論文  参考訳（メタデータ） (2022-01-19T16:45:04Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。