論文の概要: LazyWeights: Decode-on-Demand Edge LLMs
- arxiv url: http://arxiv.org/abs/2611.17108v2
- Date: Fri, 13 Nov 2026 12:43:24 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:29.076171
- Title: LazyWeights: Decode-on-Demand Edge LLMs
- Title(参考訳): LazyWeights: Decode-on-Demand Edge LLMs
- Abstract要約: LazyWeightsはGPTQをチューニングして圧縮し、Huffman-codeはインターリーブされたレーンで無益にそれらをデコードし、必要に応じてデコードする。
Phi-3-mini、Mistral-7B、SmolLM-1.7Bの1%と3.5%のパープレキシティ予算では、最高のラマフォーマットよりも5.7-31.4%小さい。
- 参考スコア(独自算出の注目度): 9.113551397529653
- License:
- Abstract: Memory decides which LLMs an edge device runs, and how fast: capacity on a 4 GB Jetson Nano, bandwidth on an 8 GB Jetson Orin Nano Super. Deployed formats (GPTQ, AWQ, llama.cpp's K- and I-quants) spend equal bits on every integer code of a matrix, although the codes are far from uniform. LazyWeights keeps these formats but tunes GPTQ so the codes compress, Huffman-codes them losslessly in interleaved lanes, and decodes them on demand in a small unit between DRAM and L2, so GPU kernels run unchanged and DRAM moves only coded bytes. At 1% and 3.5% perplexity budgets, coded Phi-3-mini, Mistral-7B and SmolLM-1.7B are 5.7-31.4% smaller than the best llama.cpp format. A bit-exact 0.21 mm^2 ASIC decoder unit (1 GHz, 7 nm) cuts Orin latency and energy per token by up to 36% and 38% (54% and 44% with prompt-lookup speculation). On the Nano, LazyWeights needs 58-64% less time and 53-57% less energy per token than CPU llama.cpp, and runs a streamed Mistral-7B 6.6x faster at 3.89 bits per weight. A Huffman decoder beats an rANS decoder in rate and area at equal throughput; the ASIC decoder unit runs bit-exact on a Zynq UltraScale+ FPGA (AMD ZCU102).
- Abstract(参考訳): メモリは、どのLLMがエッジデバイスを走らせるか、どのくらいの速さで、容量は4GBのJetson Nano、帯域幅は8GBのJetson Orin Nano Superだ。
展開形式(GPTQ、AWQ、llama.cppのK-およびI-quants)は行列の整数コードに等しく使用されるが、符号はそれほど均一ではない。
LazyWeightsはこれらのフォーマットを保ちながらGPTQをチューニングするので、コードは圧縮され、Huffman-codeはインターリーブレーンで損失をなくし、DRAMとL2の間の小さなユニットでデコードするので、GPUカーネルは変更されず、DRAMはコード化されたバイトだけを動かす。
Phi-3-mini、Mistral-7B、SmolLM-1.7Bの1%と3.5%のパープレキシティ予算では、最高のllama.cppフォーマットよりも5.7-31.4%小さい。
0.21 mm^2 ASICデコーダユニット(1GHz、7nm)はトークン当たりのオリンのレイテンシとエネルギーを最大36%と38%に削減する(54%と44%)。
Nano では、LazyWeights は CPU llama.cpp よりも 58-64% の時間と 53-57% のエネルギーを必要とし、ストリームされた Mistral-7B 6.6x を重量3.89ビットで実行している。
ASICデコーダユニットは、Zynq UltraScale+FPGA(AMD ZCU102)上でビット実行を実行する。
関連論文リスト
- Trading Memory for Depth: Tight Bounds for LCU Block-Encodings [0.0]
LCUブロックエンコーディングの$A=sum_j_j U_j$は1レジスタで$U_j$を連続して実行するので、その選択深度は$sum_j d_j$である。
for a $g$-branched realisation において、選択深さは$(C+log(g,maxn,m))$ for $gge2$, with $C$ the binning makespan and $m$ the largest bin, in the $k$-local atomic-oracle model
論文 参考訳(メタデータ) (2026-11-11T09:22:38Z) - WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs [50.26647187459162]
ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。
凍結したビデオ言語モデルの映像の一部を移動させることにより、この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation)を提案する。
Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5Times$で、デコーダのプリフィル時間を256フレームで$3.35times$、1024フレームで$4.14times$で削減し、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。
論文 参考訳(メタデータ) (2026-10-12T20:13:21Z) - Breaking the bicycle frame: Coset-based quantum LDPC codes [65.96089068176079]
2ブロック群代数 (2BGA) 符号の構成を一般化し、2ブロック量子LDPC符号の族を導入する。
パラメータが $[48,8,6]]$, $[96,8,10]]$, $[224,12,16]]$ である。
BP-OSDでデコードすると、BB符号と競合し、ウェイト6ファミリーは$approx0.65%、ウェイト8ファミリーは$approx0.35%となる。
論文 参考訳(メタデータ) (2026-06-15T20:20:57Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳(メタデータ) (2026-04-26T20:39:19Z) - High-Girth Regular Quantum LDPC Codes from Affine-Coset Structures [0.0]
長さ512$CのCalderbank-Shor-Steane基底行列対から量子低密度パリティチェック符号群を構築する。
ベースペアは、既知のSPC(3)製品CSSコードと等価である。
論文 参考訳(メタデータ) (2026-04-22T17:59:08Z) - Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。
Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
論文 参考訳(メタデータ) (2026-04-20T12:29:53Z) - Fast offline decoding with local message-passing automata [0.0]
並列化されたメッセージパッシングフレームワークに従って動作するトポロジコード用のローカルオフラインデコーダを提案する。
しきい値の存在を証明し、線形サイズ$L$のシステムでは、デコード終了を$O(log L)eta)$ average-case Runtimeで示す。
論文 参考訳(メタデータ) (2025-06-03T18:00:26Z) - HashAttention: Semantic Sparsity for Faster Inference [95.31739930718116]
本稿では,HashAttention,framing pivotal token Identificationを推薦問題として紹介する。
トークン1個あたり32ビットの補助メモリしか必要とせず、最小品質の損失を最小限に抑えられるため、最大16タイムで使用されるトークンを削減できる。
A100 GPUでは、HashAttentionを組み込むことで、GPT-FASTで4.3times$、FlashDecodeで2.54times$、GPT-FASTで最大3.12times$高スループットを実現している。
論文 参考訳(メタデータ) (2024-12-19T02:34:15Z) - Scalable Quantum Error Correction for Surface Codes using FPGA [67.74017895815125]
フォールトトレラントな量子コンピュータは、出現するよりも早くデコードし、エラーを修正する必要がある。
並列計算資源を利用したUnion-Findデコーダの分散バージョンを報告する。
この実装では、並列コンピューティングリソースをハイブリッドツリーグリッド構造に整理する、Heliosと呼ばれるスケーラブルなアーキテクチャを採用している。
論文 参考訳(メタデータ) (2023-01-20T04:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。