論文の概要: EdgeLLM-Nano: Auditing Polar-Guided Key-Cache Compression and Consistency-Anchored Pruning on a 33.6 MB On-Device Language Model

• arxiv url: http://arxiv.org/abs/2610.14475v1
• Date: Sat, 10 Oct 2026 02:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:19:17.175509
• Title: EdgeLLM-Nano: Auditing Polar-Guided Key-Cache Compression and Consistency-Anchored Pruning on a 33.6 MB On-Device Language Model
• Title（参考訳）: EdgeLLM-Nano:33.6MBオンデバイス言語モデルによる極誘導キーキャッシュ圧縮と一貫性アンカリングの検証
• Abstract要約: エッジに言語モデル(LM)をデプロイすると、ユニークなメモリ、レイテンシ、パワーの問題が発生する。 KV-cache圧縮は、これらの課題に対処するための有望なアプローチとして現れます。 既存の評価手法が必ずしもテスト対象のKVキャッシュを伴わないことを示す。
• 参考スコア（独自算出の注目度）: 1.7499351967216341
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deploying language models (LMs) on the edge presents unique memory, latency, and power challenges absent in high-performance computing. KV-cache compression emerges as a promising approach to address these challenges. However, the effectiveness of current KV-cache compression methods has not been thoroughly examined on edge devices. Moreover, we show that existing evaluation methods do not always involve the KV-cache under test. We propose EdgeLLM-Nano, a measurement study of KV-cache compression using a nano-scale decoder-only LM (transformer) testbed that has 8.39M parameters, i.e., 33.6 MB, to enable end-to-end examination of each backend, seed, and power sample. Our results give a negative verdict for a polar-guided key-cache quantizer (round-to-nearest (RTN) control causes an order of magnitude less damage), as well as a consistency-anchored progressive weight pruner (one-shot magnitude-based pruning performs as well as, if not better). We also introduce Long-Context Decode Fidelity (LCDF) evaluation, a token-by-token examination of teacher-forced log-losses using the KV-cache under test. Unlike perplexity that gives the same 5.461 score to all methods, LCDF distinguishes different KV-cache compression backends thanks to its paired statistics across seeds and effect sizes. Our companion Raspberry Pi 5 measurement shows all compression backends we tested to be less energy-efficient per token compared to uncompressed FP16 inference. Except for KIVI that is close to lossless in terms of LCDF, our findings indicate KV-cache compression can be improved. LCDF offers a simple and effective way of shedding light on KV-cache compression methods, whose negative impacts have been overlooked by perplexity.
• Abstract（参考訳）: エッジに言語モデル(LM)をデプロイすることは、高性能コンピューティングで欠落しているユニークなメモリ、レイテンシ、パワー課題を示す。 KV-cache圧縮は、これらの課題に対処するための有望なアプローチとして現れます。 しかし,現在のKV-cache圧縮法の有効性は,エッジデバイスでは十分に検証されていない。 また,既存の評価手法が必ずしもテスト対象のKVキャッシュを伴わないことを示す。 ナノスケールデコーダのみのLM(Transformer)テストベッドを用いて,KV-cache圧縮の測定結果であるEdgeLLM-Nanoを提案し,各バックエンド,シード,パワーサンプルのエンドツーエンド検査を可能にする。 以上の結果から,極誘導型キーキャッシュ量子化器 (RTN) に対する負の判定が得られ, 整合性のあるプログレッシブ・プルーナー (ワンショットのマグニチュード・プルーニング) も有効である。 また,テスト中のKV-cacheを用いた教師力ログのトークン・バイ・トークンによる評価であるLCDF(Long-Context Decode Fidelity)の評価も導入した。 すべてのメソッドに同じ5.461スコアを与えるパープレキシティとは異なり、LCDFは種と効果の大きさの統計のペアによって異なるKV-cache圧縮バックエンドを区別する。 Raspberry Pi 5の測定では、私たちがテストしたすべての圧縮バックエンドは、非圧縮FP16推論に比べて、トークン当たりのエネルギー効率が低いことが分かりました。 LCDFでは損失がほとんどないKIVIを除くと,KV-cache圧縮が改善する可能性が示唆された。 LCDF は KV-cache 圧縮法に光を遮蔽する簡便で効果的な方法を提供しており、その負の影響はパープレキシティによって見過ごされている。

関連論文リスト

• MetaKV: Adaptive KV Cache Compression for Constrained LLM Inference [0.868052960805382]
  キー値(KV)キャッシュ圧縮は、大きな言語モデル(LLM)推論のメモリオーバーヘッドを低減する効果的な方法である。 既存の圧縮手法では、精度、推論遅延、ピークKVキャッシュメモリ利用のトレードオフが異なる。 ユーザが指定したレイテンシとピークメモリの予算に基づいて,各入力プロンプトに対してKVキャッシュ圧縮構成を選択する適応型フレームワークであるMetaKVを紹介する。
  論文  参考訳（メタデータ） (2026-09-07T20:44:23Z)
• Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
  長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。 我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
  論文  参考訳（メタデータ） (2026-07-10T17:18:25Z)
• Joint Encoding of KV-Cache Blocks for Scalable LLM Serving [3.3230675313521716]
  既存のKV-cache圧縮手法は剛性に依存し、テンソルレイアウトを乱したり、特別な計算を必要とする。 KV-cacheブロックの連成符号化を提案し、要求と入力チャンクに類似したブロックを融合して共有表現を生成する。 これにより、KV-cacheメモリのボトルネックが軽減され、特別なハードウェアを使わずに高コンカレンシー機能をサポートする。
  論文  参考訳（メタデータ） (2026-01-06T14:50:58Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。