論文の概要: Last Secure Code Benchmark: Is the Code You Vibe Secure?
- arxiv url: http://arxiv.org/abs/2610.14766v1
- Date: Sat, 10 Oct 2026 09:42:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.100839
- Title: Last Secure Code Benchmark: Is the Code You Vibe Secure?
- Title（参考訳）: 最後のセキュアなコードベンチマーク: コードがセキュアか?
- Abstract要約: Last Secure Code Benchmarkは、コーディングエージェントによるセキュアコード生成の包括的な評価である。
450のタスクは7つの広く使われている言語と24のCWEにまたがっており、2025年のCWEトップ25の21と、上位10のKEVの弱点の8つが含まれている。
最高のモデルは、すべてのビブコーディング設定にまたがる脆弱性シナリオの12%に過ぎません。
- 参考スコア（独自算出の注目度）: 55.718488362738924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI coding agents now write much of the code that ships, yet whether that code is secure remains unclear. We introduce the Last Secure Code Benchmark, a comprehensive evaluation of secure code generation by coding agents. Built from 150 real vulnerabilities, its 450 tasks span seven widely used languages (Java, C, C++, JavaScript, Python, PHP, and Go), 24 CWEs including 21 of the 2025 CWE Top 25 and 8 of the Top 10 KEV weaknesses, more than any benchmark we compare with, and three vibe-coding scenarios: filling in a function, writing a file, and building a repository's source tree from scratch. Every task asks only for functionality, through a specification that never mentions security, and hidden functional and security tests grade the result. Across six frontier agents, 73.6% to 91.3% of tasks pass functionally, yet even the strongest, Claude Fable 5, produces code that is both functional and secure for only 25.1% of tasks, and the others for 16.4% to 24.7%. The best model only passes 12% of the vulnerability scenarios across all vibe coding setting, posing strong concern on the security of the code written by vibe coding.
- Abstract（参考訳）: AIコーディングエージェントは、出荷されるコードの大部分を記述しているが、そのコードがセキュアかどうかはまだ不明だ。
我々は、コーディングエージェントによるセキュアコード生成の包括的な評価であるLast Secure Code Benchmarkを紹介する。
150の実際の脆弱性から構築された450のタスクは、広く使用されている7つの言語(Java、C、C++、JavaScript、Python、PHP、Go)、2025のCWEトップ25と上位10のKEVの弱点のうち8つを含む24のCWE、私たちが比較したベンチマーク以上のもの、そして3つのビブコーディングシナリオ(関数を埋め、ファイルを書き、リポジトリのソースツリーをスクラッチから構築する)にまたがっている。
すべてのタスクは、セキュリティに言及しない仕様を通じて、機能のみを要求する。
6つのフロンティアエージェント、73.6%から91.3%のタスクが機能的にパスするが、最強のClaude Fable 5でさえ、25.1%のタスクで機能的かつセキュアなコードを生成し、その他は16.4%から24.7%である。
最高のモデルは、すべてのビブコーディング設定で脆弱性シナリオの12%をパスするだけで、ビブコーディングによって書かれたコードのセキュリティに強い懸念を呈する。
関連論文リスト
- MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
論文 参考訳（メタデータ） (2026-09-21T01:21:06Z) - CVE-Factory: Scaling Expert-Level Agentic Tasks for Code Security Vulnerability [50.57373283154859]
CVE-Factoryは、脆弱性タスクを自動変換するエキスパートレベルの品質を実現するための、最初のマルチエージェントフレームワークである。
最新の現実的な脆弱性についても評価され、66.2%の成功が証明されている。
コードセキュリティにおけるエージェントタスクの大規模スケーリングとして,1000以上の実行可能なトレーニング環境を合成する。
論文 参考訳（メタデータ） (2026-02-03T02:27:16Z) - Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks [22.499464760561434]
バイブコーディングは、人間のエンジニアが大規模言語モデル(LLM)エージェントに複雑なコーディングタスクをほとんど監督せずに完了するよう指示する新しいプログラミングパラダイムである。
実世界のオープンソースプロジェクトから200の機能要求ソフトウェアエンジニアリングタスクからなるベンチマークを提示する。
我々の発見は、特にセキュリティに敏感なアプリケーションにおいて、バイブコーディングが広く採用されているという深刻な懸念を提起する。
論文 参考訳（メタデータ） (2025-12-02T22:11:56Z) - Prompt, Synthesize, Fine-Tune: A Secure Code Generation Recipe [16.177098761970683]
高品質で脆弱でセキュアなコード例を自動的に合成するフレームワークであるSecure-Instructを紹介します。
Secure-Instructは、セキュリティだけでなく、生成されたコードの機能的正確性も改善します。
論文 参考訳（メタデータ） (2025-10-08T16:24:09Z) - BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。
脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。
Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
論文 参考訳（メタデータ） (2025-05-21T07:44:52Z) - RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。
RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。
RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文 参考訳（メタデータ） (2024-11-12T13:30:06Z) - Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study [8.364612094301071]
GitHub Copilotと他の2つのAIコード生成ツールによって生成されたコードスニペットを分析します。
分析の結果,733個のスニペットが検出され,セキュリティ上の脆弱性の可能性が高め,Pythonの29.5%,JavaScriptの24.2%が影響を受けることがわかった。
生成されたコードのセキュリティ問題を軽減するために提案する。
論文 参考訳（メタデータ） (2023-10-03T14:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。