論文の概要: Smaller = Weaker? Benchmarking Robustness of Quantized LLMs in Code Generation

• arxiv url: http://arxiv.org/abs/2506.22776v1
• Date: Sat, 28 Jun 2025 06:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.560901
• Title: Smaller = Weaker? Benchmarking Robustness of Quantized LLMs in Code Generation
• Title（参考訳）: より小さい=ウィーカー?コード生成における量子化LDMのロバストさのベンチマーク
• Authors: Sen Fang, Weiyuan Ding, Antonio Mastropaolo, Bowen Xu,
• Abstract要約: 大規模言語モデル(LLM)を圧縮する主流手法として量子化が登場した コード生成タスクにおいて,量子化がLLMのロバスト性に与える影響について,最初の系統的研究を行った。 本研究は,LLMの量子化が実精度よりも優れた強靭性を示すことを示すことによって,従来の知恵に挑戦する。
• 参考スコア（独自算出の注目度）: 7.262231066394782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization has emerged as a mainstream method for compressing Large Language Models (LLMs), reducing memory requirements and accelerating inference without architectural modifications. While existing research primarily focuses on evaluating the effectiveness of quantized LLMs compared to their original counterparts, the impact on robustness remains largely unexplored.In this paper, we present the first systematic investigation of how quantization affects the robustness of LLMs in code generation tasks. Through extensive experiments across four prominent LLM families (LLaMA, DeepSeek, CodeGen, and StarCoder) with parameter scales ranging from 350M to 33B, we evaluate robustness from dual perspectives: adversarial attacks on input prompts and noise perturbations on model architecture. Our findings challenge conventional wisdom by demonstrating that quantized LLMs often exhibit superior robustness compared to their full-precision counterparts, with 51.59% versus 42.86% of our adversarial experiments showing better resilience in quantized LLMs. Similarly, our noise perturbation experiments also confirm that LLMs after quantitation generally withstand higher levels of weight disturbances. These results suggest that quantization not only reduces computational requirements but can actually enhance LLMs' reliability in code generation tasks, providing valuable insights for developing more robust and efficient LLM deployment strategies.
• Abstract（参考訳）: 量子化は、LLM(Large Language Models)を圧縮し、メモリ要求を減らし、アーキテクチャの変更なしに推論を加速する主要な方法として登場した。 従来の研究は主に量子化LDMの有効性の評価に重点を置いているが、ロバスト性への影響は未解明のままであり、コード生成タスクにおいて量子化がLLMのロバスト性にどのように影響するかを初めて体系的に検討する。 パラメータスケールが350Mから33Bの4つの有名なLLMファミリー(LLaMA、DeepSeek、CodeGen、StarCoder)の広範な実験を通じて、2つの視点からロバスト性を評価する。 我々の研究は、量子化LDMが実精度と比較して優れた強靭性を示すことを示すことで従来の知恵に挑戦し、敵実験の51.59%に対して、量子化LDMのレジリエンスは42.86%であった。 同様に、我々のノイズ摂動実験は、量子化後のLLMが一般的により高い重量乱れに耐えていることも確認した。 これらの結果は、量子化が計算要求を減らすだけでなく、実際にコード生成タスクにおけるLLMの信頼性を高め、より堅牢で効率的なLLMデプロイメント戦略を開発する上で貴重な洞察を与えることを示唆している。

関連論文リスト

• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Beyond Numeric Rewards: In-Context Dueling Bandits with LLM Agents [25.825941077332182]
  In-Context Reinforcement Learning(ICRL)は、基盤モデル時代の強化学習(RL)問題を解決するフロンティアパラダイムである。 本稿では,Large Language Models (LLMs) が,Dueling Bandits (DB) 問題の下で ICRL を実現するためにクロスドメインを一般化できるかどうかを検討する。 LEADは従来のDBアルゴリズムから受け継がれた理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2024-07-02T02:18:14Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• What Makes Quantization for Large Language Models Hard? An Empirical Study from the Lens of Perturbation [55.153595212571375]
  量子化は、大規模言語モデル(LLM)のメモリと計算効率を改善する技術である。 本稿では,LLMの重みと活性化に付加される摂動として,量子化の新しい視点を提案する。 各種人工摂動実験を行い,LLMの性能への影響について検討する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:51Z)
• A Comprehensive Evaluation of Quantization Strategies for Large Language Models [42.03804933928227]
  大規模言語モデル(LLM)におけるパラメータの数を増やすことで、ダウンストリームタスクのパフォーマンスが向上するが、計算とメモリコストが上昇する。 モデルウェイトやアクティベーションに必要なビットを最小性能で削減する量子化技術が普及している。 本稿では,知識とキャパシティ,(2)アライメント,(3)効率の3つの重要な次元からなる構造化評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-26T17:45:36Z)
• Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning [19.472937476936636]
  大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。 本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。 提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
  論文  参考訳（メタデータ） (2023-10-04T18:21:17Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。