論文の概要: Is Quantization a Deal-breaker? Empirical Insights from Large Code Models

• arxiv url: http://arxiv.org/abs/2507.09665v1
• Date: Sun, 13 Jul 2025 14:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:23.676792
• Title: Is Quantization a Deal-breaker? Empirical Insights from Large Code Models
• Title（参考訳）: 量子化はディールブレーカーか? 大規模コードモデルによる実証的考察
• Authors: Saima Afrin, Bowen Xu, Antonio Mastropaolo,
• Abstract要約: 我々は、広く使われている2つのコードモデル、CodeLlamaとDeepSeekCoderにActivation-Aware Weight Quantization (AWQ)を適用し、JavaとPythonコードを生成する。 この結果から,量子化は機能的正当性を保持するだけでなく,開発者が求める重要な定性的なコード属性も保持する,堅牢な手法であることが判明した。
• 参考スコア（独自算出の注目度）: 7.182449176083625
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The growing scale of large language models (LLMs) not only demands extensive computational resources but also raises environmental concerns due to their increasing carbon footprint. Model quantization emerges as an effective approach that can reduce the resource demands of LLMs by decreasing parameter precision without substantially affecting performance (e.g., 16 bit to 4 bit). While recent studies have established quantization as a promising approach for optimizing large code models (LCMs), a specialized subset of LLMs tailored for automated software engineering, their findings offer only limited insights into its practical implications. Specifically, current investigations focus only on the functional correctness of the code generated by quantized models, neglecting how quantization impacts critical aspects of code quality such as reliability, maintainability, and security. To bridge this gap, our study investigates the effects of quantization on the qualitative aspects of automatically generated code. We apply Activation-aware Weight Quantization (AWQ) to two widely used code models, CodeLlama and DeepSeekCoder, to generate Java and Python code. Using state-of-the-art static analysis tools, we evaluate software quality metrics and static features including cyclomatic complexity, cognitive complexity, and lines of code. Our findings reveal that quantization is a robust technique that not only preserves functional correctness, but also retains key qualitative code attributes sought after by developers, such as maintainability and structural simplicity.
• Abstract（参考訳）: 大規模言語モデル(LLM)の大規模化は、広範な計算資源を必要とするだけでなく、炭素フットプリントの増加による環境問題も引き起こす。 モデル量子化は、パラメータの精度を著しく低下させ、性能(例えば、16ビットから4ビット)に影響を与えることなく、LCMのリソース要求を低減できる効果的なアプローチとして現れる。 近年の研究では、大規模なコードモデル(LCM)を最適化するための有望なアプローチとして量子化を確立している。 具体的には、現在の調査では、量子化されたモデルによって生成されたコードの機能的正当性のみに注目し、量子化が信頼性、保守性、セキュリティといったコード品質の重要な側面にどのように影響するかを無視している。 このギャップを埋めるため,自動生成コードの定性的側面に対する量子化の影響について検討した。 我々は、広く使われている2つのコードモデル、CodeLlamaとDeepSeekCoderにActivation-Aware Weight Quantization (AWQ)を適用し、JavaとPythonコードを生成する。 最先端の静的分析ツールを使用して、シクロマティック複雑性、認知複雑性、コード行数などのソフトウェア品質メトリクスと静的機能を評価します。 この結果から,量子化は機能的正当性を保持するだけでなく,保守性や構造的単純さなど,開発者が求めている重要な定性的なコード属性も保持する,堅牢な手法であることが判明した。

関連論文リスト

• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• Quantize What Counts: Bit Allocation Insights Informed by Spectral Gaps in Keys and Values [57.54443445583921]
  KV量子化法の拡張を目的とした2つの新しい定理を提供する。 我々の最初の定理は、キー値ノルム格差(Key-Value Norm Disparity)と呼ばれ、鍵重み行列がよりリッチな情報を持っていることを述べる。 第2の定理であるキー駆動量子化(Key-Driven Quantization)は、値上のキーの量子化精度の優先順位付けは、全体的な量子化性能に大きな改善をもたらすという仮説である。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Resource-Efficient & Effective Code Summarization [3.512140256677132]
  QLoRAのようなGreenAI技術は、大規模モデルのサステナビリティを扱うための有望なパスを提供する。 本研究では,Python と Java の2つのプログラミング言語にまたがる最先端の CLM の評価を行った。 その結果、QLoRAはコード要約のためのCLMを効率的に微調整できることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T21:06:30Z)
• Precision or Peril: Evaluating Code Quality from Quantized Large Language Models [0.5249805590164902]
  量子化は、大規模言語モデルのメモリオーバーヘッドを軽減する手段として登場した。 本研究の目的は、様々なメトリクスを用いて、より小さなLCMのコード生成能力を評価することである。
  論文  参考訳（メタデータ） (2024-11-16T01:31:29Z)
• Quantum Machine Learning Architecture Search via Deep Reinforcement Learning [8.546707309430593]
  教師付き学習タスクに適した有能なQMLモデルアーキテクチャを探索するために、深層強化学習を導入する。 我々の手法は、所定のアンザッツを使わずにQMLモデルの発見を容易にするポリシーを考案するために、RLエージェントを訓練することを含む。 提案手法は,ゲート深さを最小化しながら高い分類精度を達成できるVQCアーキテクチャの同定に成功している。
  論文  参考訳（メタデータ） (2024-07-29T16:20:51Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
  本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。 当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。 我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
  論文  参考訳（メタデータ） (2023-09-05T01:39:09Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。