論文の概要: Exploring the Security Threats of Knowledge Base Poisoning in Retrieval-Augmented Code Generation

• arxiv url: http://arxiv.org/abs/2502.03233v1
• Date: Wed, 05 Feb 2025 14:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:29:02.843932
• Title: Exploring the Security Threats of Knowledge Base Poisoning in Retrieval-Augmented Code Generation
• Title（参考訳）: 検索型コード生成における知識ベースポジショニングのセキュリティ脅威の探索
• Authors: Bo Lin, Shangwen Wang, Liqian Chen, Xiaoguang Mao,
• Abstract要約: 本稿では,RACGシステムに関連するセキュリティリスクに関する,最初の総合的研究について述べる。 知識ベースにおける脆弱なコードが、生成されたコードのセキュリティをいかに損なうかに焦点を当てている。 私たちの研究は、単一の有毒コード例でさえ、生成コードの最大48%を妥協できる、知識ベース中毒の重大な脅威を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 4.907610470063863
• License:
• Abstract: The integration of Large Language Models (LLMs) into software development has revolutionized the field, particularly through the use of Retrieval-Augmented Code Generation (RACG) systems that enhance code generation with information from external knowledge bases. However, the security implications of RACG systems, particularly the risks posed by vulnerable code examples in the knowledge base, remain largely unexplored. This risk is particularly concerning given that public code repositories, which often serve as the sources for knowledge base collection in RACG systems, are usually accessible to anyone in the community. Malicious attackers can exploit this accessibility to inject vulnerable code into the knowledge base, making it toxic. Once these poisoned samples are retrieved and incorporated into the generated code, they can propagate security vulnerabilities into the final product. This paper presents the first comprehensive study on the security risks associated with RACG systems, focusing on how vulnerable code in the knowledge base compromises the security of generated code. We investigate the LLM-generated code security across different settings through extensive experiments using four major LLMs, two retrievers, and two poisoning scenarios. Our findings highlight the significant threat of knowledge base poisoning, where even a single poisoned code example can compromise up to 48% of generated code. Our findings provide crucial insights into vulnerability introduction in RACG systems and offer practical mitigation recommendations, thereby helping improve the security of LLM-generated code in future works.
• Abstract（参考訳）: 大規模言語モデル(LLM)のソフトウェア開発への統合は、特に外部の知識ベースからの情報によるコード生成を強化するRACG(Retrieval-Augmented Code Generation)システムによって、この分野に革命をもたらした。 しかし、RACGシステムのセキュリティへの影響、特に知識ベースにおける脆弱性のあるコード例によって引き起こされるリスクは、いまだほとんど解明されていない。 このリスクは、RACGシステムにおける知識ベース収集のソースとして機能する公開コードリポジトリが、コミュニティの誰にでもアクセス可能であることを考えると、特に懸念される。 悪意のある攻撃者は、このアクセシビリティを利用して、脆弱性のあるコードを知識ベースに注入し、有害になる。 これらの有毒なサンプルが取得され、生成されたコードに組み込まれると、セキュリティ上の脆弱性が最終製品に伝達される。 本稿では,RACGシステムに関連するセキュリティリスクについて,知識ベースにおける脆弱性のあるコードが生成したコードのセキュリティをいかに損なうかに着目した,最初の総合的研究を行った。 4つの主要なLCMと2つのレトリバーと2つの中毒シナリオを用いた広範囲な実験により,LLMの生成したコードセキュリティについて検討した。 私たちの研究結果は、単一の有毒コード例でさえ、生成コードの最大48%を妥協できるような、知識ベース中毒の重大な脅威を浮き彫りにしています。 本研究は,RACGシステムにおける脆弱性導入に関する重要な知見を提供し,実用的緩和勧告を提供することにより,今後の作業におけるLLM生成コードのセキュリティ向上に寄与する。

関連論文リスト

• RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
  RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
  論文  参考訳（メタデータ） (2024-11-12T13:30:06Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
  大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。 我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:13:21Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• On Security Weaknesses and Vulnerabilities in Deep Learning Systems [32.14068820256729]
  具体的には、ディープラーニング(DL)フレームワークについて検討し、DLシステムにおける脆弱性に関する最初の体系的な研究を行う。 各種データベースの脆弱性パターンを探索する2ストリームデータ分析フレームワークを提案する。 我々は,脆弱性のパターンと修正の課題をよりよく理解するために,3,049個のDL脆弱性を大規模に検討した。
  論文  参考訳（メタデータ） (2024-06-12T23:04:13Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• LLM-Powered Code Vulnerability Repair with Reinforcement Learning and Semantic Reward [3.729516018513228]
  我々は,大規模な言語モデルであるCodeGen2を利用した多目的コード脆弱性解析システム texttSecRepair を導入する。 そこで本研究では,LLMを用いた脆弱性解析に適した命令ベースデータセットを提案する。 GitHub上の6つのオープンソースIoTオペレーティングシステムにおいて、ゼロデイとNデイの脆弱性を特定します。
  論文  参考訳（メタデータ） (2024-01-07T02:46:39Z)
• Enhancing Large Language Models for Secure Code Generation: A Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
  大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。 本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
  論文  参考訳（メタデータ） (2023-10-25T00:32:56Z)
• Foveate, Attribute, and Rationalize: Towards Physically Safe and Trustworthy AI [76.28956947107372]
  包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。 安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。 実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
  論文  参考訳（メタデータ） (2022-12-19T17:51:47Z)
• A Hierarchical Deep Neural Network for Detecting Lines of Codes with Vulnerabilities [6.09170287691728]
  ソースコードの意図しない欠陥によって引き起こされるソフトウェア脆弱性は、サイバー攻撃の根本原因である。 本稿では,自然言語処理で使用されている手法に基づいて,LLVM IR表現から脆弱性を検出するためのディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-15T21:21:27Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。