論文の概要: Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark

• arxiv url: http://arxiv.org/abs/2508.05674v1
• Date: Tue, 05 Aug 2025 03:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:05.919977
• Title: Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark
• Title（参考訳）: 効果的な防犯LLMエージェントに向けて -ハイパーパラメータチューニング, LLM as a judge, and a Lightweight CTFベンチマーク-
• Authors: Minghao Shao, Nanda Rani, Kimberly Milner, Haoran Xi, Meet Udeshi, Saksham Aggarwal, Venkata Sai Charan Putrevu, Sandeep Kumar Shukla, Prashanth Krishnamurthy, Farshad Khorrami, Ramesh Karri, Muhammad Shafique,
• Abstract要約: エージェントの成功を促す重要な要因を体系的に検討し、LLMをベースとした効果的な攻撃セキュリティエージェントを構築するための詳細なレシピを提供する。 CTFJudgeは、LCMを審査員として活用し、エージェントトラジェクトリを分析し、CTF解決ステップ全体にわたってきめ細かい評価を行うフレームワークである。 高速な評価のために、バイナリエクスプロイト、Web、リバースエンジニアリング、法医学、暗号の50の代表的なCTF課題をキュレートしたベンチマークであるCTFTinyを提案する。
• 参考スコア（独自算出の注目度）: 18.653746750609546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in LLM agentic systems have improved the automation of offensive security tasks, particularly for Capture the Flag (CTF) challenges. We systematically investigate the key factors that drive agent success and provide a detailed recipe for building effective LLM-based offensive security agents. First, we present CTFJudge, a framework leveraging LLM as a judge to analyze agent trajectories and provide granular evaluation across CTF solving steps. Second, we propose a novel metric, CTF Competency Index (CCI) for partial correctness, revealing how closely agent solutions align with human-crafted gold standards. Third, we examine how LLM hyperparameters, namely temperature, top-p, and maximum token length, influence agent performance and automated cybersecurity task planning. For rapid evaluation, we present CTFTiny, a curated benchmark of 50 representative CTF challenges across binary exploitation, web, reverse engineering, forensics, and cryptography. Our findings identify optimal multi-agent coordination settings and lay the groundwork for future LLM agent research in cybersecurity. We make CTFTiny open source to public https://github.com/NYU-LLM-CTF/CTFTiny along with CTFJudge on https://github.com/NYU-LLM-CTF/CTFJudge.
• Abstract（参考訳）: LLMエージェントシステムの最近の進歩は、特にCTF(Capture the Flag)の課題において、攻撃的セキュリティタスクの自動化を改善している。 エージェントの成功を促す重要な要因を体系的に検討し、LLMをベースとした効果的な攻撃セキュリティエージェントを構築するための詳細なレシピを提供する。 まず, LLM を判断として活用した CTFJudge を提案する。 第2に,CTFコンピテンシー指標(CCI)を部分的に正し,エージェント・ソリューションが人為的な金の基準とどのように密接に一致しているかを明らかにする。 第3に、LLMハイパーパラメータ、すなわち温度、トップp、最大トークン長、影響エージェントのパフォーマンス、自動サイバーセキュリティタスク計画について検討する。 高速な評価のために、バイナリエクスプロイト、Web、リバースエンジニアリング、法医学、暗号の50の代表的なCTF課題をキュレートしたベンチマークであるCTFTinyを提案する。 本研究は, サイバーセキュリティにおけるLLMエージェント研究の基盤となる, 最適マルチエージェント調整設定を明らかにした。 我々はCTFTinyをhttps://github.com/NYU-LLM-CTF/CTFTinyとCTFJudge on https://github.com/NYU-LLM-CTF/CTFJudgeで公開している。

関連論文リスト

• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• D-CIPHER: Dynamic Collaborative Intelligent Multi-Agent System with Planner and Heterogeneous Executors for Offensive Security [22.86304661035188]
  D-CIPHERは、協調サイバーセキュリティCTF問題解決のためのマルチエージェントフレームワークである。 エージェントと異なる役割を持つエージェントを動的フィードバックループに統合し、複雑なタスクの推論を強化する。 NYU CTF Benchでは22.0%、Cybenchでは22.5%、HackTheBoxでは44.0%である。
  論文  参考訳（メタデータ） (2025-02-15T23:43:18Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
  安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。 特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。 GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
  論文  参考訳（メタデータ） (2024-06-13T14:49:26Z)
• NYU CTF Bench: A Scalable Open-Source Benchmark Dataset for Evaluating LLMs in Offensive Security [28.125179435861316]
  大規模言語モデル(LLM)は、さまざまなドメインにデプロイされているが、Capture the Flag(CTF)の課題を解決する能力は、十分に評価されていない。 我々は、スケーラブルでオープンソースのベンチマークデータベースを作成することで、CTFの課題を解決する上で、LCMを評価する新しい手法を開発した。 このデータベースは、LLMテストと適応学習のためのメタデータを含み、人気のあるコンペからさまざまなCTF課題をコンパイルする。
  論文  参考訳（メタデータ） (2024-06-08T22:21:42Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。