論文の概要: SEC-bench: Automated Benchmarking of LLM Agents on Real-World Software Security Tasks

• arxiv url: http://arxiv.org/abs/2506.11791v1
• Date: Fri, 13 Jun 2025 13:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.819002
• Title: SEC-bench: Automated Benchmarking of LLM Agents on Real-World Software Security Tasks
• Title（参考訳）: SEC-bench: LLMエージェントのリアルタイムソフトウェアセキュリティタスクの自動ベンチマーク
• Authors: Hwiwon Lee, Ziqi Zhang, Hanxiao Lu, Lingming Zhang,
• Abstract要約: SEC-benchは、大規模言語モデル(LLM)エージェントを評価するための、最初の完全に自動化されたベンチマークフレームワークである。 当社のフレームワークは,再現可能なアーティファクトを備えた高品質なソフトウェア脆弱性データセットを,インスタンス当たり0.87ドルで自動生成します。 最先端のLLMコードエージェントの包括的な評価では、大きなパフォーマンスギャップが明らかになっている。
• 参考スコア（独自算出の注目度）: 11.97472024483841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rigorous security-focused evaluation of large language model (LLM) agents is imperative for establishing trust in their safe deployment throughout the software development lifecycle. However, existing benchmarks largely rely on synthetic challenges or simplified vulnerability datasets that fail to capture the complexity and ambiguity encountered by security engineers in practice. We introduce SEC-bench, the first fully automated benchmarking framework for evaluating LLM agents on authentic security engineering tasks. SEC-bench employs a novel multi-agent scaffold that automatically constructs code repositories with harnesses, reproduces vulnerabilities in isolated environments, and generates gold patches for reliable evaluation. Our framework automatically creates high-quality software vulnerability datasets with reproducible artifacts at a cost of only $0.87 per instance. Using SEC-bench, we implement two critical software security tasks to rigorously evaluate LLM agents' capabilities: proof-of-concept (PoC) generation and vulnerability patching. A comprehensive evaluation of state-of-the-art LLM code agents reveals significant performance gaps, achieving at most 18.0% success in PoC generation and 34.0% in vulnerability patching on our complete dataset. These results highlight the crucial steps needed toward developing LLM agents that are more practical, intelligent, and autonomous for security engineering.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントの厳格なセキュリティ重視の評価は、ソフトウェア開発ライフサイクル全体を通じて、彼らの安全なデプロイメントに対する信頼を確立する上で不可欠である。 しかし、既存のベンチマークは主に、セキュリティエンジニアが実際に直面している複雑さとあいまいさを捉えるのに失敗する、合成課題や単純化された脆弱性データセットに依存している。 SEC-benchは、LLMエージェントを認証セキュリティエンジニアリングタスクで評価するための、最初の完全に自動化されたベンチマークフレームワークである。 SEC-benchは、ハーネスでコードリポジトリを自動的に構築し、独立した環境で脆弱性を再現し、信頼性の高い評価のために金のパッチを生成する、新しいマルチエージェントの足場を採用している。 当社のフレームワークは,再現可能なアーティファクトを備えた高品質なソフトウェア脆弱性データセットを,インスタンス当たり0.87ドルで自動生成します。 SEC-benchを使用して、2つの重要なソフトウェアセキュリティタスクを実装し、LLMエージェントの能力(概念実証(PoC)生成と脆弱性パッチ)を厳格に評価する。 最先端のLLMコードエージェントの包括的な評価は、PoC生成において少なくとも18.0%の成功と、完全なデータセットに対する脆弱性パッチの34.0%を達成し、大きなパフォーマンスギャップを示す。 これらの結果は、より実用的でインテリジェントで自律的なLLMエージェントの開発に必要な重要なステップを浮き彫りにしている。

関連論文リスト

• SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code [7.209766132478914]
  LLM生成コードのセキュリティ評価に特化して設計されたベンチマークであるベンチマークを導入する。 このベンチマークに基づいて,モデル生成コードにセキュリティ脆弱性が存在することを評価する自動評価フレームワークを開発した。 本稿では,LLMのセキュアコード生成性能について,今後の進歩に有効な知見を提供するとともに,今後の課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-06-06T02:48:02Z)
• CyberGym: Evaluating AI Agents' Cybersecurity Capabilities with Real-World Vulnerabilities at Scale [46.76144797837242]
  大規模言語モデル(LLM)エージェントは、自律的なサイバーセキュリティタスクの処理において、ますます熟練している。 既存のベンチマークは不足していて、現実のシナリオをキャプチャできなかったり、スコープが限られていたりします。 我々はCyberGymを紹介した。CyberGymは1,507の現実世界の脆弱性を特徴とする大規模かつ高品質なサイバーセキュリティ評価フレームワークである。
  論文  参考訳（メタデータ） (2025-06-03T07:35:14Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• The Hidden Risks of LLM-Generated Web Application Code: A Security-Centric Evaluation of Code Generation Capabilities in Large Language Models [0.769672852567215]
  本稿では,複数のモデルにまたがるLLM生成コードのセキュリティコンプライアンスを評価するために,予め定義されたセキュリティパラメータを用いる。 この分析は、認証機構、セッション管理、入力バリデーション、HTTPセキュリティヘッダに重大な脆弱性を明らかにしている。 我々の発見は、LLM生成コードのセキュアなソフトウェアデプロイメントやレビューのために、人間の専門知識が不可欠であることを示している。
  論文  参考訳（メタデータ） (2025-04-29T10:23:11Z)
• CWEval: Outcome-driven Evaluation on Functionality and Security of LLM Code Generation [20.72188827088484]
  大規模言語モデル(LLM)は、コード記述の生成や支援によって、開発者を大いに助けている。 機能的に正しいコードの脆弱性を検出することは、特にセキュリティ知識が限られている開発者にとっては、より難しい。 我々は、LLMによるセキュアコード生成の評価を強化するために、新しい結果駆動型評価フレームワークであるCWEvalを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T15:27:01Z)
• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• AutoSafeCoder: A Multi-Agent Framework for Securing LLM Code Generation through Static Analysis and Fuzz Testing [6.334110674473677]
  既存のアプローチは、セキュアで脆弱性のないコードを生成するのに苦労するコード生成に、単一のエージェントに依存することが多い。 コード生成,脆弱性解析,セキュリティ強化にLLM駆動エージェントを活用するマルチエージェントフレームワークであるAutoSafeCoderを提案する。 私たちのコントリビューションは、コード生成中に反復的なプロセスで動的および静的なテストを統合することで、マルチエージェントコード生成の安全性を確保することに焦点を当てています。
  論文  参考訳（メタデータ） (2024-09-16T21:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。