論文の概要: Quantize with Confidence? An Empirical Study of Quantization for Code Generation
- arxiv url: http://arxiv.org/abs/2607.14181v1
- Date: Wed, 15 Jul 2026 14:05:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.855313
- Title: Quantize with Confidence? An Empirical Study of Quantization for Code Generation
- Title（参考訳）: 自信で量子化する : コード生成のための量子化の実証的研究
- Abstract要約: GPTQ, AWQ, QuIP#, AQLM, BitsAndBytes, GGUFの6種類の最先端量子化手法を2つの代表的な大符号モデルファミリに対して実験的に評価した。
保守性、信頼性、セキュリティ、構造的複雑さとともに機能的正確性(pass@1)を評価します。
その結果,量子化技術が正確性やコード品質に与える影響は,有意に異なることがわかった。
- 参考スコア（独自算出の注目度）: 4.347703075408796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing adoption of local inference frameworks such as Ollama has made it increasingly common for developers to run large code models on laptops and other resource-constrained hardware. In these settings, post-training quantization is essential for reducing memory footprint and enabling practical deployment, yet its impact on generated code remains insufficiently understood. We empirically evaluate six state-of-the-art quantization methods (GPTQ, AWQ, QuIP#, AQLM, BitsAndBytes, and GGUF) on two representative large code model families, Qwen2.5-Coder and CodeLlama, using the multilingual McEval and CoderEval benchmarks for Python and Java. We assess functional correctness (pass@1) together with maintainability, reliability, security, and structural complexity. We also introduce a novel analysis of robustness under varying prompt complexity, characterized by Shannon entropy and token length. Our results show that quantization techniques differ meaningfully in their impact on correctness and code quality. AQLM consistently matches or exceeds the full-precision baseline, whereas QuIP# exhibits the largest correctness degradation, particularly on complex prompts. Security attributes remain stable across models, benchmarks, and programming languages, while robustness to prompt complexity varies across techniques. These findings provide practical guidance for selecting quantization strategies for deploying large code models on resource-constrained hardware and highlight the importance of evaluating quantized models beyond functional correctness.
- Abstract（参考訳）: Ollamaのようなローカル推論フレームワークの普及により、開発者はラップトップや他のリソース制約のあるハードウェアで大規模なコードモデルを実行することがますます一般的になっている。
これらの設定では、トレーニング後の量子化はメモリフットプリントを減らし、実用的なデプロイを可能にするために不可欠であるが、生成されたコードへの影響は十分に理解されていない。
我々は,PythonとJavaのマルチ言語McEvalとCoderEvalベンチマークを用いて,最先端の量子化手法(GPTQ, AWQ, QuIP#, AQLM, BitsAndBytes, GGUF)を2つの代表的な大規模コードモデルファミリであるQwen2.5-CoderとCodeLlamaで実証的に評価した。
保守性、信頼性、セキュリティ、構造的複雑さとともに機能的正確性(pass@1)を評価します。
また,シャノンエントロピーとトークン長を特徴とする,急激な複雑度の変化によるロバスト性の解析も導入した。
その結果,量子化技術が正確性やコード品質に与える影響は,有意に異なることがわかった。
AQLMは、完全精度のベースラインと一貫して一致または超えるが、QuIP#は、特に複雑なプロンプトにおいて、最大の正確性低下を示す。
セキュリティ属性はモデル、ベンチマーク、プログラミング言語で安定しているが、複雑さを早める堅牢性は技術によって異なる。
これらの知見は、リソース制約のあるハードウェア上に大規模コードモデルをデプロイするための量子化戦略を選択するための実用的なガイダンスを提供し、機能的正しさを超えて量子化モデルを評価することの重要性を強調している。
関連論文リスト
- LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。
LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
論文 参考訳（メタデータ） (2026-05-28T11:02:23Z) - Adaptive Decoding via Test-Time Policy Learning for Self-Improving Generation [0.5199807441687141]
本稿では,復号化を逐次決定として扱う強化学習型サンプルシステムを導入し,テスト時にサンプリングパラメータを調整するための軽量なポリシーを学習する。
本研究は,BookSum,arXiv,WikiHowなどの要約データセットを評価する。
論文 参考訳（メタデータ） (2026-03-19T02:44:42Z) - LLMs in Code Vulnerability Analysis: A Proof of Concept [0.3441021278275805]
従来のソフトウェアセキュリティ分析手法は、現代人の規模や複雑さに合わせたペースを維持するのに苦労している。
本稿では,重要なソフトウェアセキュリティタスクを自動化するために,コード固有および汎用大規模言語モデルの導入について検討する。
論文 参考訳（メタデータ） (2026-01-13T16:16:11Z) - Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。
提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
論文 参考訳（メタデータ） (2025-10-23T20:19:48Z) - Is Quantization a Deal-breaker? Empirical Insights from Large Code Models [7.182449176083625]
我々は、広く使われている2つのコードモデル、CodeLlamaとDeepSeekCoderにActivation-Aware Weight Quantization (AWQ)を適用し、JavaとPythonコードを生成する。
この結果から,量子化は機能的正当性を保持するだけでなく,開発者が求める重要な定性的なコード属性も保持する,堅牢な手法であることが判明した。
論文 参考訳（メタデータ） (2025-07-13T14:58:19Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - An Efficient Quantum Classifier Based on Hamiltonian Representations [50.467930253994155]
量子機械学習(QML)は、量子コンピューティングの利点をデータ駆動タスクに移行しようとする分野である。
入力をパウリ弦の有限集合にマッピングすることで、データ符号化に伴うコストを回避できる効率的な手法を提案する。
我々は、古典的および量子モデルに対して、テキストおよび画像分類タスクに対する我々のアプローチを評価する。
論文 参考訳（メタデータ） (2025-04-13T11:49:53Z) - Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。
本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
論文 参考訳（メタデータ） (2025-02-20T22:24:27Z) - QSpec: Speculative Decoding with Complementary Quantization Schemes [53.960146187821685]
大規模言語モデル(LLM)における推論の高速化とメモリ消費削減のために量子化が広く採用されている
品質から効率を分離する新しい量子化パラダイムであるQSpecを提案する。
QSpecは重みとKVキャッシュの両方を段階的に再利用し、再トレーニングや補助モデルなしでほぼゼロコストで切り替えることができる。
論文 参考訳（メタデータ） (2024-10-15T05:57:51Z) - LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid [36.33062038680275]
大規模言語モデル(LLM)は、様々な領域において大きな可能性を示している。
トレーニング後の量子化は、メモリ要求を減らし、遅延をデコードするための有望なテクニックとして登場した。
正確で汎用的でスケーラブルな新しい量子化手法であるLeanQuantを提案する。
論文 参考訳（メタデータ） (2024-07-14T00:23:51Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。