論文の概要: Smaller Models, Unexpected Costs: Trade-offs in LLM Quantization for Automated Program Repair
- arxiv url: http://arxiv.org/abs/2606.27205v1
- Date: Thu, 25 Jun 2026 16:02:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.339465
- Title: Smaller Models, Unexpected Costs: Trade-offs in LLM Quantization for Automated Program Repair
- Title（参考訳）: 小型モデルと予測外のコスト:自動プログラム修復のためのLCM量子化のトレードオフ
- Abstract要約: 言語モデル(LLM)の量子化は、しばしばベンチマークスコアによって要約される。
異なるビット幅,方法,および対象成分(重みおよびKVcache)を6つの代表LDMに分散した13の量子化構成を分析し,APRベンチマークで評価した。
以上の結果から, ベースモデルと量子化モデルでは, 補修問題と同等の数の補修問題を保ちながら, 重なりがほとんどない異なる補修問題セットを提供できることがわかった。
- 参考スコア（独自算出の注目度）: 41.08652069536182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language Models (LLMs) are powerful toolsand have been increasingly adopted for complex software engineering tasks. As the number of parameters increases, results can often be improved, but this also imposes substantialmemory requirements. While quantization effectively reduces thememory footprint, its overall impact is often summarized onlyby benchmark scores, which mask changes in model behaviorand non-functional overheads. In this work, we conduct anempirical evaluation of LLM quantization using AutomatedProgram Repair (APR), a complex task in software engineering.We analyze 13 quantization configurations spanning differentbit-widths, methods, and target components (weights and KVcache) across six representative LLMs, evaluated on two APRbenchmarks (HumanEval-Java and Defects4J). Our findings reveal that base and quantized models can provide different sets of repaired problems with little overlap, whileretaining a comparable number of repaired problems. Althoughquantization successfully reduces memory footprints by up to85%, it increases both inference time and energy consumption,which we attribute to suboptimal hardware utilization. OurPareto trade-off analysis shows that 48% of the configurationsevaluated are strictly dominated by alternatives. Rather thanidentifying a superior quantization method, our findings highlightthat the trade-offs between effectiveness, memory footprint,and energy efficiency are sensitive to the underlying modelarchitecture and the complexity of the task.
- Abstract（参考訳）: 言語モデル(LLM)は強力なツールであり、複雑なソフトウェアエンジニアリングタスクにますます採用されている。
パラメータの数が増加するにつれて、結果はしばしば改善されるが、これには相当量のメモリ要件も課される。
量子化はメモリフットプリントを効果的に削減するが、その全体的な影響はベンチマークスコアによってのみ要約される。
本研究では,ソフトウェア工学における複雑なタスクであるAutomatedProgram repair (APR) を用いて,ALMの量子化を経験的に評価し,異なるビット幅,メソッド,対象コンポーネント(重みとKVcache)を6つの代表LCMにまたがる13の量子化構成を分析し,APRベンチマーク(HumanEval-JavaとDefects4J)で評価する。
以上の結果から, ベースモデルと量子化モデルでは, 補修問題と同等の数の補修問題を保ちながら, 重なりがほとんどない異なる補修問題セットを提供できることがわかった。
量子化はメモリフットプリントを最大85%削減するが、推測時間とエネルギー消費の両方を増大させる。
OurParetoのトレードオフ分析は、構成評価の48%が厳密に代替手段に支配されていることを示している。
優れた量子化法を重要視するのではなく, 有効性, メモリフットプリント, エネルギー効率のトレードオフが, 基礎となるモデル構造やタスクの複雑さに敏感であることを示す。
関連論文リスト
- K-Quantization and its Impact on Output Performance [1.1458853556386797]
本稿では,様々な量子化レベルにおける8つの大規模言語モデル(LLM)の性能について検討する。
ビット精度が低いと一般的にパフォーマンスが低下するが、その影響はモデルやタスクによって異なる。
論文 参考訳（メタデータ） (2026-05-19T10:31:47Z) - ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。
ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文 参考訳（メタデータ） (2026-01-29T18:35:01Z) - Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
量子化下でのモデルロバスト性に対する選択の影響について検討する。
モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。
異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
論文 参考訳（メタデータ） (2025-09-27T21:15:22Z) - How Small is Enough? Empirical Evidence of Quantized Small Language Models for Automated Program Repair [0.0]
小さい言語モデル(SLM)は、大きな言語モデル(LLM)と比較して、限られた計算資源でもうまく機能する。
Int8量子化はAPRの精度に最小限の影響を及ぼし、メモリ要求を著しく低減した。
論文 参考訳（メタデータ） (2025-08-22T16:25:08Z) - LLM Compression: How Far Can We Go in Balancing Size and Performance? [3.8420176149841714]
4ビットグループスケーリング量子化(GSQ)とGPTQ(Generative Pretrained Transformer Quantization)をLLaMA 1B,Qwen 0.5B,PHI 1.5Bに適用した。
我々はこれらのモデルをMS MARCO (Information Retrieval), BoolQ (Boolean Question Answering), GSM8K (Mathematical Reasoning)データセットでベンチマークする。
この研究は、モデル圧縮とタスクパフォーマンスのトレードオフを測定し、主要な評価指標を分析する。
論文 参考訳（メタデータ） (2025-08-15T08:41:20Z) - LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid [36.33062038680275]
大規模言語モデル(LLM)は、様々な領域において大きな可能性を示している。
トレーニング後の量子化は、メモリ要求を減らし、遅延をデコードするための有望なテクニックとして登場した。
正確で汎用的でスケーラブルな新しい量子化手法であるLeanQuantを提案する。
論文 参考訳（メタデータ） (2024-07-14T00:23:51Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。
多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
論文 参考訳（メタデータ） (2023-08-25T02:28:35Z) - FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only
Quantization for LLMs [9.072821427818557]
大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。
メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。
我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
論文 参考訳（メタデータ） (2023-08-16T23:57:41Z) - ReWOO: Decoupling Reasoning from Observations for Efficient Augmented
Language Models [32.95155349925248]
本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。
マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。
本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
論文 参考訳（メタデータ） (2023-05-23T00:16:48Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳（メタデータ） (2020-11-29T03:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。