論文の概要: Capturing the Effects of Quantization on Trojans in Code LLMs

• arxiv url: http://arxiv.org/abs/2505.14200v1
• Date: Tue, 20 May 2025 11:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.079612
• Title: Capturing the Effects of Quantization on Trojans in Code LLMs
• Title（参考訳）: コードLLMにおけるトロイの木馬に対する量子化の効果のキャプチャ
• Authors: Aftab Hussain, Sadegh AlMahdi Kazemi Zarkouei, Md Rafiqul Islam Rabin, Mohammad Amin Alipour, Sen Lin, Bowen Xu,
• Abstract要約: 本研究では,大規模言語のコードモデルに対するデータ中毒攻撃のリスクに対する量子化の影響について検討する。 量子化はコード生成LDMに異なる効果があることがわかった。 妥協されたモデルにおけるトロイの木馬信号を測定するための新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 12.814581766967047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models of code exhibit high capability in performing diverse software engineering tasks, such as code translation, defect detection, text-to-code generation, and code summarization. While their ability to enhance developer productivity has spurred widespread use, these models have also seen substantial growth in size, often reaching billions of parameters. This scale demands efficient memory resource usage, prompting practitioners to use optimization techniques such as model quantization. Quantization uses smaller bit representations for the model parameters, reducing the precision of the weights. In this work, we investigate the impact of quantization on the risk of data poisoning attacks on these models, specifically examining whether it mitigates or exacerbates such vulnerabilities. We focus on two large language models, Meta's Llama-2-7b and CodeLlama-7b, applied to an SQL code generation task. Additionally, we introduce a new metric for measuring trojan signals in compromised models. We find that quantization has differing effects on code-generating LLMs: while reducing precision does not significantly alter Llama-2's behavior, it boosts performance and reduces attack success rates in CodeLlama, particularly at 4-bit precision.
• Abstract（参考訳）: コードの大規模な言語モデルは、コード翻訳、欠陥検出、テキスト・ツー・コード生成、コードの要約など、多様なソフトウェアエンジニアリングタスクを実行する上で高い能力を示す。 開発者の生産性を高める能力は広く使われるようになったが、これらのモデルも大幅に成長しており、しばしば何十億ものパラメータに到達している。 このスケールでは、効率的なメモリリソースの使用を必要とし、モデル量子化のような最適化テクニックを実践者に使わせる。 量子化はモデルパラメータのビット表現を小さくし、重みの精度を下げる。 本研究では,これらのモデルに対するデータ中毒攻撃のリスクに対する定量化の影響について検討する。 我々は、SQLコード生成タスクに適用されたMetaのLlama-2-7bとCodeLlama-7bの2つの大きな言語モデルに焦点を当てた。 さらに、妥協されたモデルにおけるトロイの木馬信号を測定するための新しい指標を導入する。 精度の低下はLlama-2の挙動を著しく変化させるものではないが、性能を高め、特に4ビット精度でCodeLlamaの攻撃成功率を低下させる。

関連論文リスト

• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
  大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。 CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。 本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:05:49Z)
• Characterizing the Accuracy -- Efficiency Trade-off of Low-rank Decomposition in Language Models [1.401463252785724]
  低ランクの分解は、大規模にリアルタイムサービスを必要とするLLMベースのアプリケーションにとって有望な方向である。 低ランクな分解設計空間を形式化し、分解設計空間が巨大であることを示す。 以上の結果から,最小精度で9%のモデルサイズ削減を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-10T17:40:02Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Quantifying the Capabilities of LLMs across Scale and Precision [12.879551933541345]
  本研究では,モデルスケールと量子化がインストラクションモデルの性能に及ぼす影響について検討する。 より大規模なモデルでは、精度の低下に対して例外的なレジリエンスを示し、4ビット量子化においても高い精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2024-05-06T03:42:34Z)
• QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
  量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。 その動機は量子化と適応の自由の不均衡度にある。 QA-LoRAは数行のコードで簡単に実装できる。
  論文  参考訳（メタデータ） (2023-09-26T07:22:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。