論文の概要: A.S.E 2.0: Understanding How Repository Context Impacts the Security of LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2611.06294v1
- Date: Wed, 04 Nov 2026 10:29:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.059229
- Title: A.S.E 2.0: Understanding How Repository Context Impacts the Security of LLM-Generated Code
- Title(参考訳): A.S.E 2.0: リポジトリコンテキストがLLM生成コードのセキュリティに与える影響を理解する
- Abstract要約: 大規模言語モデル(LLM)コーディングアシスタントとエージェントは、コードを生成する前にリポジトリコンテキストを構築する。
セキュリティに敏感なコードの場合、このコンテキストは、プロジェクトのセーフガード(例えば、認可チェック)を見るか、あるいは模倣するために安全でないコードを見るかを決定する。
51件のプロジェクトにおいて,実際のCVEから145件のリポジトリレベルのタスクをベンチマークしたCASE-Benchを構築した。
- 参考スコア(独自算出の注目度): 12.969623027018029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) coding assistants and agents construct a repository context before generating code. For security-sensitive code, this context decides whether the model sees the project's safeguards (e.g., authorization checks) or insecure code to imitate. However, context construction is designed almost exclusively for functional correctness, and secure-code benchmarks treat the context as fixed, so how repository context affects the security of generated code remains unclear. We construct CASE-Bench, a benchmark of 145 repository-level tasks from real CVEs in 51 projects. Each task runs in Docker, has functional tests and a proof-of-concept exploit validated in both directions, and is annotated with the repository code that enforces or undermines its security. Using CASE-Bench, we compare 13 context construction methods and six controls with six LLMs, edit single context elements, and analyze coding-agent trajectories. We find that (1) functionality-oriented context raises the functional pass rate by up to 8.2 percentage points (pp) but the secure pass rate by at most 3.7 pp, (2) withholding a safeguard lowers the secure pass rate by up to 8.1 pp, while one inserted insecure exemplar raises correct-but-exploitable code by 6.3 pp, and (3) coding agents observe the relevant safeguard in only 27-36% of trajectories. These findings inform security-aware context construction and secure-code evaluation.
- Abstract(参考訳): 大規模言語モデル(LLM)コーディングアシスタントとエージェントは、コードを生成する前にリポジトリコンテキストを構築する。
セキュリティに敏感なコードの場合、このコンテキストは、モデルのプロジェクトのセーフガード(例えば、認可チェック)や、模倣するための安全性の低いコードを見るかどうかを決定する。
しかし、コンテキスト構成はほとんど機能的正当性のために設計されており、セキュアコードのベンチマークはコンテキストを固定として扱うため、リポジトリのコンテキストが生成されたコードのセキュリティにどのように影響するかははっきりしない。
51のプロジェクトで実際のCVEから145のリポジトリレベルのタスクをベンチマークしたCASE-Benchを構築した。
各タスクはDockerで動作し、両方の方向に検証された機能テストと概念実証のエクスプロイトを持ち、セキュリティを強制または弱めるリポジトリコードにアノテートされる。
Case-Benchを用いて、13のコンテキスト構成法と6つのコントロールを6つのLSMで比較し、単一のコンテキスト要素を編集し、コーディングエージェントの軌跡を解析する。
その結果,(1)機能指向のコンテキストは機能的パスレートを最大8.2ポイント(pp),(2)安全パスレートを最大3.7pp,(2)安全ガードを保持すれば安全パスレートを最大8.1pp,(2)安全でない例では6.3pp,(3)コーディングエージェントは27~36%のトラジェクトリで関連するセーフガードを観察することがわかった。
これらの知見は,セキュリティを意識したコンテキスト構築とセキュアコード評価に寄与する。
関連論文リスト
- Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation [53.85136813868056]
ACToRは、リポジトリレベルのコード生成のための適応型クリティカルトークン対応検索フレームワークである。
我々は、ACToRが、リポジトリレベルのベンチマークにおいて、最先端のメソッドを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-09-01T17:59:39Z) - MACGen: Toward Functionally Correct and Secure Code Generation via Multi-Agent Collaboration [6.506092400916109]
MACGenは、計画、セキュリティ分析、コード合成、改善を統合して、セキュリティと機能を共同で最適化するフレームワークである。
CWEval と BaxBench では、MACGen は F&S@1 を平均 19.61 と 10.57 のパーセンテージで改善している。
論文 参考訳(メタデータ) (2026-08-26T07:21:56Z) - SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。
しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。
我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
論文 参考訳(メタデータ) (2026-04-04T04:29:11Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳(メタデータ) (2026-01-30T08:29:01Z) - SecureAgentBench: Benchmarking Secure Code Generation under Realistic Vulnerability Scenarios [17.276786247873613]
SecureAgentBenchは、セキュアなコード生成において、コードエージェントの機能を厳格に評価するために設計された105のコーディングタスクのベンチマークである。
その結果、(i)現在のエージェントがセキュアなコードを生成するのに苦労していることが示され、最高のパフォーマンスのエージェントであるDeepSeek-V3.1がサポートしているSWE-agentも15.2%の正安のソリューションしか達成していない。
論文 参考訳(メタデータ) (2025-09-26T09:18:57Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳(メタデータ) (2025-09-15T02:25:38Z) - A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code [49.009041488527544]
A.S.Eは、AI生成コードのセキュリティを評価するためのリポジトリレベルの評価ベンチマークである。
現在の大規模言語モデル(LLM)は、セキュアなコーディングに苦戦している。
大きな推論予算は、必ずしもより良いコード生成につながるとは限らない。
論文 参考訳(メタデータ) (2025-08-25T15:11:11Z) - SolBench: A Dataset and Benchmark for Evaluating Functional Correctness in Solidity Code Completion and Repair [51.0686873716938]
コード補完モデルによって生成されたSolidityスマートコントラクトの機能的正しさを評価するベンチマークであるSolBenchを紹介する。
本稿では,スマートコントラクトの機能的正当性を検証するための検索拡張コード修復フレームワークを提案する。
その結果、コード修復と検索技術は、計算コストを削減しつつ、スマートコントラクト完了の正しさを効果的に向上することを示した。
論文 参考訳(メタデータ) (2025-03-03T01:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。