論文の概要: Can Open-Source LLM Agents Replace Static Application Security Testing Tools? An Empirical Assessment
- arxiv url: http://arxiv.org/abs/2606.11672v1
- Date: Wed, 10 Jun 2026 05:31:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.305328
- Title: Can Open-Source LLM Agents Replace Static Application Security Testing Tools? An Empirical Assessment
- Title（参考訳）: LLMエージェントは静的アプリケーションセキュリティテストツールを置き換えることができるか?実証的な評価
- Authors: Derek Yohn, Luke Flancher, Mirajul Islam, Khaled Slhoub,
- Abstract要約: 我々は,3種類のOllamaホスト型汎用オープンソースモデルを利用する場合,汎用GenAI大言語モデル(GenAI-)ベースのエージェントの有効性を評価する。
我々の研究は、現代のオープンソースのGenAI LLMベースのエージェントが、現在、SASTスキャンの専門的なタスクに適しているという考えを否定するものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the value of agentic AI tools for cybersecurity purposes. We evaluate the efficacy of a general-purpose GenAI Large Language Model- (GenAI-) based agent when powered by three different Ollama-hosted general-purpose open source models. We assess each agent's performance using precision, recall, false positive count, and a calculated composite score based upon the interplay of the captured metrics, against the baseline performance of an existing, vetted Static Application Security Testing (SAST) tool, Bandit. Our findings refute the notion that a modern open-source GenAI LLM-based agent is currently suitable for the specialized task of SAST scanning under realistic conditions.
- Abstract（参考訳）: 本稿では,サイバーセキュリティのためのエージェントAIツールの価値について検討する。
我々は,3種類のOllamaホスト型汎用オープンソースモデルを利用する場合,汎用GenAI大言語モデル(GenAI-)ベースのエージェントの有効性を評価する。
我々は,既存の静的アプリケーションセキュリティテスト(SAST)ツールであるBanditのベースライン性能に対して,精度,リコール,偽陽性数,および取得したメトリクスのインタープレイに基づく計算された複合スコアを用いて,各エージェントのパフォーマンスを評価する。
我々の研究は、現代のオープンソースのGenAI LLMベースのエージェントが、現実的な条件下でのSASTスキャンの専門的なタスクに現在適しているという考えを否定するものである。
関連論文リスト
- A Multi-Agent Framework for Automated Exploit Generation with Constraint-Guided Comprehension and Reflection [30.539826266048014]
Vulnsageは自動エクスプロイト生成のためのマルチエージェントフレームワークである。
explosionjsのような最先端のツールよりも34.64%のエクスプロイトを生成する。
Vulnsageは、現実世界のシナリオで146のゼロデイ脆弱性を発見し、検証した。
論文 参考訳（メタデータ） (2026-04-06T19:47:17Z) - Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。
本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。
STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
論文 参考訳（メタデータ） (2026-01-24T19:36:51Z) - SastBench: A Benchmark for Testing Agentic SAST Triage [3.1175243456844832]
SastBenchは、実CVEを真正値、フィルターしたSASTツールを近似偽正値として組み合わせたSASTトリアージエージェントを評価するためのベンチマークである。
ベンチマークで異なるエージェントを評価し,その性能の比較分析を行った。
論文 参考訳（メタデータ） (2026-01-06T11:36:30Z) - An Agentic Framework for Autonomous Materials Computation [70.24472585135929]
大規模言語モデル(LLM)は、科学的発見を加速するための強力なツールとして登場した。
近年の進歩はLLMをエージェントフレームワークに統合し、複雑な科学実験のための検索、推論、ツールの使用を可能にしている。
本稿では,第一原理計算の信頼性向上を目的としたドメイン特化エージェントを提案する。
論文 参考訳（メタデータ） (2025-12-22T15:03:57Z) - Alita-G: Self-Evolving Generative Agent for Agent Generation [54.49365835457433]
汎用エージェントをドメインエキスパートに変換するフレームワークであるALITA-Gを提案する。
このフレームワークでは、ジェネラリストエージェントが対象ドメインタスクのキュレートされたスイートを実行する。
計算コストを削減しながら、大きな利益を得ることができます。
論文 参考訳（メタデータ） (2025-10-27T17:59:14Z) - MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。
MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。
実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
論文 参考訳（メタデータ） (2025-07-17T05:46:27Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳（メタデータ） (2025-04-29T17:36:05Z) - A Preliminary Study on Using Large Language Models in Software
Pentesting [2.0551676463612636]
大規模言語モデル(LLM)は、セキュリティタスクを自動化するための有望な可能性を提供すると考えられている。
ソフトウェアペンテスティングにおけるLLMの使用について検討し,ソースコード中のソフトウェアセキュリティ脆弱性を自動的に識別する作業を行う。
論文 参考訳（メタデータ） (2024-01-30T21:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。