論文の概要: Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges

• arxiv url: http://arxiv.org/abs/2604.19354v1
• Date: Tue, 21 Apr 2026 11:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.743688
• Title: Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges
• Title（参考訳）: エージェントは根の殻を夢見るか? : フラッグチャレンジにおけるLDMエージェントの部分的評価
• Authors: Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi,
• Abstract要約: 我々は、CTF(Capture The Flag)の課題に対して、LLM(Large Language Model)エージェントを評価するためのオープンソースのベンチマークであるDeepRedを紹介する。 DeepRedは、端末ツールとオプションのWeb検索を備えたKali攻撃環境にエージェントを配置し、プライベートネットワークを介してターゲットの課題に接続し、分析のための完全な実行トレースを記録する。 DeepRedを使って、異なる課題カテゴリにまたがる10のVMベースのCTF課題に対して、商業的に10のLCMをベンチマークします。 その結果,最良モデルでは平均チェックポイント完了率は35%に過ぎず,共通課題タイプでは最強,非標準発見を必要とするタスクでは最弱であることが示唆された。
• 参考スコア（独自算出の注目度）: 12.212097872268766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) agents are increasingly proposed for autonomous cybersecurity tasks, but their capabilities in realistic offensive settings remain poorly understood. We present DeepRed, an open-source benchmark for evaluating LLM-based agents on realistic Capture The Flag (CTF) challenges in isolated virtualized environments. DeepRed places an agent in a Kali attacker environment with terminal tools and optional web search, connected over a private network to a target challenge, and records full execution traces for analysis. To move beyond binary solved/unsolved outcomes, we introduce a partial-credit scoring method based on challenge-specific checkpoints derived from public writeups, together with an automated summarise-then-judge labelling pipeline for assigning checkpoint completion from logs. Using DeepRed, we benchmark ten commercially accessible LLMs on ten VM-based CTF challenges spanning different challenge categories. The results indicate that current agents remain limited: the best model achieves only 35% average checkpoint completion, performing strongest on common challenge types and weakest on tasks requiring non-standard discovery and longer-horizon adaptation.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、自律的なサイバーセキュリティタスクのためにますます提案されている。 We present DeepRed, a open-source benchmark for a LLM-based agent onreal Capture The Flag (CTF) challenges in isolated virtualized environment。 DeepRedは、端末ツールとオプションのWeb検索を備えたKali攻撃環境にエージェントを配置し、プライベートネットワークを介してターゲットの課題に接続し、分析のための完全な実行トレースを記録する。 本稿では,ログからチェックポイント完了を割り当てる自動サマリス-then-judgeラベリングパイプラインとともに,公開書き込みから得られるチャレンジ固有チェックポイントに基づく部分クレディットスコアリング手法を提案する。 DeepRedを使って、異なる課題カテゴリにまたがる10のVMベースのCTF課題に対して、商業的にアクセス可能な10のLCMをベンチマークします。 その結果、現在のエージェントは限定的であり、最高のモデルは平均的なチェックポイント完了率をわずか35%で達成し、共通のチャレンジタイプで最強、非標準発見とより長い水平適応を必要とするタスクで最弱となることが示唆された。

関連論文リスト

• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
  textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。 エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。 実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
  論文  参考訳（メタデータ） (2025-09-26T02:04:00Z)
• Autonomous Penetration Testing: Solving Capture-the-Flag Challenges with LLMs [0.0]
  本研究は,OverTheWireのBanditキャプチャ・ザ・フラッグゲームにモデルを接続することにより,GPT-4oが初心者レベルの攻撃的セキュリティタスクを自律的に解く能力を評価する。 技術的に単一コマンドSSHフレームワークと互換性のある25のレベルのうち、GPT-4oは18の無効化と、全体の80%の成功率を示す最小のプロンプトのヒントの後に2のレベルを解決した。
  論文  参考訳（メタデータ） (2025-08-01T20:11:58Z)
• ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation [15.227180564453016]
  サイバー脅威調査におけるLCMエージェントxの評価を行う最初のベンチマークであるExCyTIn-Benchを提案する。 我々は、専門家が作成した検出ロジックで抽出したセキュリティログを活用して脅威調査グラフを構築する。 グラフ上のペアノードを用いてLLMを用いて質問を生成し、開始ノードを背景コンテキストとし、終了ノードを回答とする。
  論文  参考訳（メタデータ） (2025-07-14T17:06:26Z)
• LocationReasoner: Evaluating LLMs on Real-World Site Selection Reasoning [9.738040108018835]
  実世界のサイト選択の文脈において,大規模言語モデルの推論能力を評価するために設計されたベンチマークであるLocationReasonerを紹介する。 このベンチマークは、様々な難易度を持つクエリを慎重に作成し、制約ベースの位置情報検索のための社内ツールを備えたサンドボックス環境によってサポートされている。 ボストン、ニューヨーク、タンパの現実世界のサイト選択データに対する大規模な評価は、最先端の推論モデルが、非合理的な先駆者に対して限定的な改善をもたらすことを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-16T16:23:56Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks [1.3124479769761592]
  本稿では,Large Language Model (LLM) 駆動自律システムを用いた新しいプロトタイプを提案する。 我々のシステムは、完全に自律的でLLM駆動のフレームワークがアカウントを妥協できる最初の実演である。 関連するコストは、プロフェッショナルな人間のペンテスト担当者によって引き起こされるコストと競合し、しばしばかなり低いことが分かりました。
  論文  参考訳（メタデータ） (2025-02-06T17:12:43Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。