論文の概要: Choosing Quantized Code LLMs by File Size and Energy per Solved Task
- arxiv url: http://arxiv.org/abs/2611.17605v1
- Date: Fri, 13 Nov 2026 00:04:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.278975
- Title: Choosing Quantized Code LLMs by File Size and Energy per Solved Task
- Title(参考訳): ファイルサイズと処理エネルギーによる量子コードLLMの選択
- Abstract要約: 一般的なルールでは、より精度の低いモデルの方が、より精度の低いモデルよりも小さいモデルに勝る傾向がある。
Qwen2.5-Coderの24GGUFファイルを、ファンレスのMacBook Air M2で4サイズで実行しています。
1GBと2GBでは、1.5Bと3Bモデルのq4_K_Mファイルを選択する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A developer running a code assistant on a laptop downloads one model file, and local inference moves the energy of every request onto that machine. A common rule says a larger model at lower precision tends to beat a smaller one at higher precision. We ran 24 GGUF files of Qwen2.5-Coder at four sizes on a fanless MacBook Air M2 and priced each in energy per solved task on 542 EvalPlus tasks. The result is a selection guide indexed by Ollama's listed file size, with an evidence label on each pick. At 1 and 2 GB it picks the q4_K_M files of the 1.5B and 3B models, both on the correctness and energy frontier under every accounting. At 3 GB as listed, the larger-model rule picks 7B-q2_K, the only measured 7B file that fits, and there it does not pay. That file brings no significant gain in solves over the 2 GB pick, 3B-q4_K_M, and the 90% CI limits any 3B-q4_K_M deficit to 2.4 points. Yet 7B-q2_K needs 2.03 times the energy per solved task on CPU, GPU and memory rails, or 1.66 to 1.81 times on whole-system power. On HumanEval+, five alternating session pairs give a ratio of 1.925 against 1.956 in the main grid. At 8 GB, 7B-q6_K buys a significant gain over the 2 GB pick at a higher energy price. From 1.5B up, q4_K_M trails the highest precision measured at its size by less than 3 points (90% CI). We release per-task results, power logs and the analysis script.
- Abstract(参考訳): ラップトップ上でコードアシスタントを実行する開発者は1つのモデルファイルをダウンロードし、ローカル推論はすべての要求のエネルギーをそのマシンに移動させる。
一般的なルールでは、より精度の低いモデルの方が、より精度の低いモデルよりも小さいモデルに勝る傾向がある。
Qwen2.5-Coderの24GGUFファイルを、ファンレスのMacBook Air M2で4サイズで走らせました。
その結果、オラマのファイルサイズにインデックス付けされたセレクションガイドとなり、それぞれのピックにエビデンスラベルが付けられている。
1GBと2GBでは、1.5Bと3Bモデルのq4_K_Mファイルを選択できる。
列挙された3GBでは、より大きなモデルルールは7B-q2_Kを選択する。
2GBのピック、3B-q4_K_M、90%のCIは3B-q4_K_Mの障害を2.4ポイントに制限する。
しかし、7B-q2_KはCPU、GPU、メモリレールで解決されたタスクの2.03倍、システム全体の電力で1.66から1.81倍のエネルギーを必要とする。
HumanEval+では、5つの交互セッションペアがメイングリッドの1.956に対して1.925の比率を与える。
8GBの7B-q6_Kは、より高いエネルギー価格で2GBよりも大幅に値上がりした。
1.5Bから、q4_K_Mはその大きさで測定された最高精度を3ポイント(90% CI)以下で追跡する。
タスク毎の結果、パワーログ、分析スクリプトをリリースします。
関連論文リスト
- SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳(メタデータ) (2026-11-02T04:21:47Z) - ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning [3.5641809082678098]
推論の保存を目的とした,厳密なスカラー2ビットフレームワークを提案する。
すべての重みは整数コードワードの倍数で、bfloat16スケールは重みのグループで共有される。
このフレームワークは最大14Bまでスケールし、3.74GBモデルはMATH-500で94.8点、29.5GB bfloat16では97.5点である。
論文 参考訳(メタデータ) (2026-10-26T05:56:35Z) - AGQ: Action-Guided Ultra-Low-Bit Quantization for Vision-Language-Action Models [5.213250788055269]
VLA(Vision-Constrained-action)モデルにより、ロボットは自然言語で指定されたタスクを実行できる。
超低ビット量子化は、このフットプリントを減らすが、タスク性能を保ち、重量回収コストを制御することは依然として困難である。
本稿では,動作感度と重み回復コストを併用したアクションガイド量子化法を提案し,ストレージ予算下で行列ビット幅を割り当てる。
論文 参考訳(メタデータ) (2026-10-21T06:22:51Z) - DuoRate: Two-Rate Per-Expert Precision Allocation for Mixture-of-Experts Serving [17.927674064115834]
我々はDuoRateを提案する。
オンラインでは、ラベルなしでワークロード自身のプリフィルをプロファイリングする。
Qwen3-30B-A3Bでは、DuoRate読み取り2.3bpwは平均精度の6.3から47.0ポイントを超える。
論文 参考訳(メタデータ) (2026-10-09T10:07:33Z) - StagQ: Constraint-Driven Multi-Precision Weight Quantization for LLMs [17.927674064115834]
マルチ精度重み形式であるStagQを提案する。
サポートされているすべての精度は、アフィンマップでデコードされた読みやすいプレフィックスである。
グリッドが装着される前後に埋められたスパースサイドレコードは、グリッドが最悪に働く数少ない重みを排除している。
論文 参考訳(メタデータ) (2026-10-05T08:28:43Z) - Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference [0.0]
小さな言語モデルは通常、大きなもののように構築され、その後CPUに圧縮される。
ターゲットを最初に修正し、ユーザを1人、トークンを1度に1人、重みを4ビット、通常のCPUで、それに合うようにアーキテクチャを選択しました。
このモデルはトレーニング開始前に修正された42.20のバーに対して5タスクのベンチマークで47.31得点した。
GPT-2 124M、Pythia-160M、OPT-125M、GPT-neo-125Mの3倍から6倍のデータで訓練され、MobileLLM-125Mを超える。
論文 参考訳(メタデータ) (2026-08-20T16:09:43Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳(メタデータ) (2026-06-23T00:17:48Z) - BitNet Distillation [90.71353956177705]
我々はBitNet Distillation(BitDistill)という,市販のフル精度LCMを1.58ビットの精度で微調整する軽量パイプラインを提案する。
BitDistillは、最小の計算コストで、タスク固有のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-10-15T18:28:12Z) - Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。
我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
論文 参考訳(メタデータ) (2025-04-10T02:19:03Z) - QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。
本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
論文 参考訳(メタデータ) (2023-10-25T17:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。