論文の概要: Give LLMs a Security Course: Securing Retrieval-Augmented Code Generation via Knowledge Injection

• arxiv url: http://arxiv.org/abs/2504.16429v1
• Date: Wed, 23 Apr 2025 05:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.00964
• Title: Give LLMs a Security Course: Securing Retrieval-Augmented Code Generation via Knowledge Injection
• Title（参考訳）: LLMにセキュリティコースを与える:知識注入による検索拡張コード生成のセキュア化
• Authors: Bo Lin, Shangwen Wang, Yihao Qin, Liqian Chen, Xiaoguang Mao,
• Abstract要約: 既存のRetrieval-Augmented Code Generation (RACG) システムはセキュリティをほとんど見落としており、重大なリスクをもたらしている。 本稿では,RACGシステムのセキュリティ強化フレームワークであるCodeGuarderを提案する。 我々のフレームワークは,セキュアなコードサンプルやルート原因アノテーションを含む,現実世界の脆弱性データベースからセキュリティ知識ベースを構築する。
• 参考スコア（独自算出の注目度）: 5.011290848820237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Code Generation (RACG) leverages external knowledge to enhance Large Language Models (LLMs) in code synthesis, improving the functional correctness of the generated code. However, existing RACG systems largely overlook security, leading to substantial risks. Especially, the poisoning of malicious code into knowledge bases can mislead LLMs, resulting in the generation of insecure outputs, which poses a critical threat in modern software development. To address this, we propose a security-hardening framework for RACG systems, CodeGuarder, that shifts the paradigm from retrieving only functional code examples to incorporating both functional code and security knowledge. Our framework constructs a security knowledge base from real-world vulnerability databases, including secure code samples and root cause annotations. For each code generation query, a retriever decomposes the query into fine-grained sub-tasks and fetches relevant security knowledge. To prioritize critical security guidance, we introduce a re-ranking and filtering mechanism by leveraging the LLMs' susceptibility to different vulnerability types. This filtered security knowledge is seamlessly integrated into the generation prompt. Our evaluation shows CodeGuarder significantly improves code security rates across various LLMs, achieving average improvements of 20.12\% in standard RACG, and 31.53\% and 21.91\% under two distinct poisoning scenarios without compromising functional correctness. Furthermore, CodeGuarder demonstrates strong generalization, enhancing security even when the targeted language's security knowledge is lacking. This work presents CodeGuarder as a pivotal advancement towards building secure and trustworthy RACG systems.
• Abstract（参考訳）: Retrieval-Augmented Code Generation (RACG)は、外部知識を活用して、コード合成におけるLarge Language Models (LLM)を強化し、生成されたコードの機能的正確性を向上させる。 しかし、既存のRACGシステムはセキュリティを概ね見落としており、重大なリスクをもたらしている。 特に、悪意のあるコードを知識ベースに流すことは、LLMを誤解させる可能性があるため、安全でないアウトプットが生成され、現代のソフトウェア開発において重大な脅威となる。 そこで我々は,RACGシステムのためのセキュリティ強化フレームワークであるCodeGuarderを提案する。 我々のフレームワークは,セキュアなコードサンプルやルート原因アノテーションを含む,現実世界の脆弱性データベースからセキュリティ知識ベースを構築する。 コード生成クエリ毎に、検索者はクエリを細かなサブタスクに分解し、関連するセキュリティ知識を取得する。 重要なセキュリティガイダンスを優先するために,LLMの異なる脆弱性タイプに対する感受性を活用することで,再ランク付けとフィルタリング機構を導入する。 このフィルタリングされたセキュリティ知識は、生成プロンプトにシームレスに統合される。 評価の結果,CodeGuarder は様々な LLM のコードセキュリティ率を大幅に向上させ,標準的な RACG では 20.12 % と 31.53 % と 21.91 % を,機能的正当性を損なうことなく2つの異なる毒殺シナリオ下で平均的に改善した。 さらに、CodeGuarderは強力な一般化を示し、ターゲット言語のセキュリティ知識が不足している場合でもセキュリティを高める。 この研究は、セキュアで信頼性の高いRACGシステムを構築するための重要な進歩としてCodeGuarderを紹介している。

関連論文リスト

• Exploring the Security Threats of Knowledge Base Poisoning in Retrieval-Augmented Code Generation [4.907610470063863]
  本稿では,RACGシステムに関連するセキュリティリスクに関する,最初の総合的研究について述べる。 知識ベースにおける脆弱なコードが、生成されたコードのセキュリティをいかに損なうかに焦点を当てている。 私たちの研究は、単一の有毒コード例でさえ、生成コードの最大48%を妥協できる、知識ベース中毒の重大な脅威を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-02-05T14:49:12Z)
• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
  RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
  論文  参考訳（メタデータ） (2024-11-12T13:30:06Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
  大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。 我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:13:21Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• LLM-Powered Code Vulnerability Repair with Reinforcement Learning and Semantic Reward [3.729516018513228]
  我々は,大規模な言語モデルであるCodeGen2を利用した多目的コード脆弱性解析システム texttSecRepair を導入する。 そこで本研究では,LLMを用いた脆弱性解析に適した命令ベースデータセットを提案する。 GitHub上の6つのオープンソースIoTオペレーティングシステムにおいて、ゼロデイとNデイの脆弱性を特定します。
  論文  参考訳（メタデータ） (2024-01-07T02:46:39Z)
• SALLM: Security Assessment of Generated Code [0.5137309756089941]
  本稿では,セキュアなコードを体系的に生成する大規模言語モデルの能力をベンチマークするフレームワークであるSALLMについて述べる。 フレームワークには3つの主要なコンポーネントがある。セキュリティ中心のPythonプロンプトの新たなデータセット、生成されたコードを評価するための評価テクニック、セキュアなコード生成の観点からモデルのパフォーマンスを評価するための新しいメトリクスである。
  論文  参考訳（メタデータ） (2023-11-01T22:46:31Z)
• Enhancing Large Language Models for Secure Code Generation: A Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
  大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。 本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
  論文  参考訳（メタデータ） (2023-10-25T00:32:56Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。