論文の概要: LazyWeights: Decode-on-Demand Edge LLMs
- arxiv url: http://arxiv.org/abs/2611.17108v1
- Date: Thu, 12 Nov 2026 17:03:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.563416
- Title: LazyWeights: Decode-on-Demand Edge LLMs
- Title(参考訳): LazyWeights: Decode-on-Demand Edge LLMs
- Abstract要約: メモリは、エッジデバイスがどのLLMを実行するか、どのくらいの速さで決定する。
texttLazyWeights$はこれらのフォーマットを保持するが、圧縮するためにGPTQをチューニングする。
ハフマンデコーダは、RANSデコーダを速度と面積で等速で打ち負かす。
- 参考スコア(独自算出の注目度): 9.113551397529653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory decides which LLMs an edge device runs, and how fast: capacity on a $4$ GB Jetson Nano, bandwidth on an $8$ GB Jetson Orin Nano Super. Deployed formats (GPTQ, AWQ, $\texttt{llama.cpp}$'s K- and I-quants) spend equal bits on every integer code of a matrix, although the codes are far from uniform. $\texttt{LazyWeights}$ keeps these formats but tunes GPTQ so the codes compress, Huffman-codes them losslessly in interleaved lanes, and decodes them on demand in a small unit between DRAM and L2, so GPU kernels run unchanged and DRAM moves only coded bytes. At $1\%$ and $3.5\%$ perplexity budgets, coded Phi-3-mini, Mistral-7B and SmolLM-1.7B are $5.7-31.4\%$ smaller than the best $\texttt{llama.cpp}$ format. A bit-exact $0.21$ mm$^2$ ASIC decoder unit ($1$ GHz, $7$ nm) cuts Orin latency and energy per token by up to $36\%$ and $38\%$ ($54\%$ and $44\%$ with prompt-lookup speculation). On the Nano, $\texttt{LazyWeights}$ needs $58-64\%$ less time and $53-57\%$ less energy per token than CPU $\texttt{llama.cpp}$, and runs a streamed Mistral-7B 6.6$\times$ faster at $3.89$ bits per weight. A Huffman decoder beats an rANS decoder in rate and area at equal throughput; the ASIC decoder unit runs bit-exact on a Zynq UltraScale+ FPGA (AMD ZCU102).
- Abstract(参考訳): メモリは、どのLLMがエッジデバイスで動作し、どれくらいの速度で動くかを決定する。容量は4ドル(約4,800円)のJetson Nano、帯域幅は8ドル(約8,800円)のJetson Orin Nano Super。
展開形式 (GPTQ, AWQ, $\texttt{llama.cpp}$'s K- and I-quants) は行列の整数コードに等しいビットを使用するが、符号は均一ではない。
Huffman-codes them losslessly in interleaved lanes, and decodes them on demand in a small unit between DRAM and L2, so, GPU kernels run changes and DRAM move only coded bytes。
コード化されたPhi-3-mini、Mistral-7B、SmolLM-1.7Bは$$$1\%と$3.5\%のパープレキシティ予算で、$$$\texttt{llama.cpp}$フォーマットよりも$5.7-31.4\%小さい。
bit-exact $0.21$ mm$^2$ ASIC decoder unit(1$ GHz, 7,$ nm)はトークン当たりのOrinレイテンシとエネルギを最大360\%$と380\%$($54\%$と444\%$に削減する。
Nanoでは、$\texttt{LazyWeights}$は、CPU$\texttt{llama.cpp}$よりも5,8-64\%の時間と5,3-57\%のトークン当たりのエネルギーを必要とし、ストリーミングされたMistral-7B 6.6$\times$を3.89$で高速に実行する。
ASICデコーダユニットは、Zynq UltraScale+FPGA(AMD ZCU102)上でビット実行を実行する。
関連論文リスト
- Trading Memory for Depth: Tight Bounds for LCU Block-Encodings [0.0]
LCUブロックエンコーディングの$A=sum_j_j U_j$は1レジスタで$U_j$を連続して実行するので、その選択深度は$sum_j d_j$である。
for a $g$-branched realisation において、選択深さは$(C+log(g,maxn,m))$ for $gge2$, with $C$ the binning makespan and $m$ the largest bin, in the $k$-local atomic-oracle model
論文 参考訳(メタデータ) (2026-11-11T09:22:38Z) - WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs [50.26647187459162]
ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。
凍結したビデオ言語モデルの映像の一部を移動させることにより、この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation)を提案する。
Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5Times$で、デコーダのプリフィル時間を256フレームで$3.35times$、1024フレームで$4.14times$で削減し、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。
論文 参考訳(メタデータ) (2026-10-12T20:13:21Z) - Breaking the bicycle frame: Coset-based quantum LDPC codes [65.96089068176079]
2ブロック群代数 (2BGA) 符号の構成を一般化し、2ブロック量子LDPC符号の族を導入する。
パラメータが $[48,8,6]]$, $[96,8,10]]$, $[224,12,16]]$ である。
BP-OSDでデコードすると、BB符号と競合し、ウェイト6ファミリーは$approx0.65%、ウェイト8ファミリーは$approx0.35%となる。
論文 参考訳(メタデータ) (2026-06-15T20:20:57Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳(メタデータ) (2026-04-26T20:39:19Z) - High-Girth Regular Quantum LDPC Codes from Affine-Coset Structures [0.0]
長さ512$CのCalderbank-Shor-Steane基底行列対から量子低密度パリティチェック符号群を構築する。
ベースペアは、既知のSPC(3)製品CSSコードと等価である。
論文 参考訳(メタデータ) (2026-04-22T17:59:08Z) - Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。
Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
論文 参考訳(メタデータ) (2026-04-20T12:29:53Z) - Fast offline decoding with local message-passing automata [0.0]
並列化されたメッセージパッシングフレームワークに従って動作するトポロジコード用のローカルオフラインデコーダを提案する。
しきい値の存在を証明し、線形サイズ$L$のシステムでは、デコード終了を$O(log L)eta)$ average-case Runtimeで示す。
論文 参考訳(メタデータ) (2025-06-03T18:00:26Z) - HashAttention: Semantic Sparsity for Faster Inference [95.31739930718116]
本稿では,HashAttention,framing pivotal token Identificationを推薦問題として紹介する。
トークン1個あたり32ビットの補助メモリしか必要とせず、最小品質の損失を最小限に抑えられるため、最大16タイムで使用されるトークンを削減できる。
A100 GPUでは、HashAttentionを組み込むことで、GPT-FASTで4.3times$、FlashDecodeで2.54times$、GPT-FASTで最大3.12times$高スループットを実現している。
論文 参考訳(メタデータ) (2024-12-19T02:34:15Z) - Scalable Quantum Error Correction for Surface Codes using FPGA [67.74017895815125]
フォールトトレラントな量子コンピュータは、出現するよりも早くデコードし、エラーを修正する必要がある。
並列計算資源を利用したUnion-Findデコーダの分散バージョンを報告する。
この実装では、並列コンピューティングリソースをハイブリッドツリーグリッド構造に整理する、Heliosと呼ばれるスケーラブルなアーキテクチャを採用している。
論文 参考訳(メタデータ) (2023-01-20T04:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。