論文の概要: Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing

• arxiv url: http://arxiv.org/abs/2607.13085v1
• Date: Mon, 13 Jul 2026 13:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.526498
• Title: Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
• Title（参考訳）: アーキテクチャ以前のベースライン: 自動浸透テストのためのコーディングエージェントの評価
• Abstract要約: 本稿では,標準のCLIエージェントをベースラインとして用いた104-task XBOWベンチマークの制御について述べる。 私たちはまず、同じGPT-5モデル、予算、ターゲットインターフェース、スコアリングルールでCodex、OpenCode、Piを実行しました。 次に、デフォルトのCodexスニペットとMAPTAとPentestGPT V2の結果を、最も近いモデルマッチングで比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent autonomous penetration testing papers report high benchmark scores while adding multi-component security harnesses around frontier LLMs. Because these systems often change both architecture and backbone model, it is difficult to tell how much performance comes from the harness rather than from the underlying model. This paper presents a controlled study on the 104-task XBOW benchmark using default coding CLI agents as plain-agent baselines. We first run Codex, OpenCode, and Pi with the same GPT-5 model, budget, target interface, and scoring rule. This phase identifies the strongest same-model baseline and tests whether security-specific prompt variants improve its observed score. We then compare the default Codex scaffold with published MAPTA and PentestGPT V2 results under the closest available model matches. Finally, we repeat the plain-agent experiment with GPT-5.2 and GPT-5.5 to measure model scaling inside the same scaffold. The results show a mixed but practical picture. Specialised harnesses can add measurable benchmark lift and may improve cost efficiency, but plain coding agents already solve a large share of the benchmark; repeated plain-agent runs can match or exceed some published architecture scores in union coverage, and newer models substantially improve the same scaffold. Future evaluations should report model-matched plain-agent baselines before attributing benchmark gains to architecture design alone.
• Abstract（参考訳）: 最近の自律浸透試験論文は、フロンティアLSMの周囲に複数コンポーネントのセキュリティハーネスを追加しながら、高いベンチマークスコアを報告している。 これらのシステムは、しばしばアーキテクチャとバックボーンモデルの両方を変えるため、基盤となるモデルからではなく、ハーネスからどのくらいのパフォーマンスを得るかを知るのは難しい。 本稿では,標準のCLIエージェントをベースラインとして用いた104-task XBOWベンチマークの制御について述べる。 私たちはまず、同じGPT-5モデル、予算、ターゲットインターフェース、スコアリングルールでCodex、OpenCode、Piを実行しました。 このフェーズは、最強の同モデルベースラインを特定し、セキュリティ固有のプロンプト変種が観察されたスコアを改善するかどうかをテストする。 次に、デフォルトのCodexスニペットとMAPTAとPentestGPT V2の結果を、最も近いモデルマッチングで比較する。 最後に, GPT-5.2 と GPT-5.5 を用いて実験を行った。 結果は、混在するが実践的なイメージを示している。 特殊なハーネスは、測定可能なベンチマークリフトを追加し、コスト効率を向上させることができるが、平易なコーディングエージェントはすでにベンチマークの大部分を解決している。 将来の評価では、アーキテクチャ設計だけにベンチマークをもたらす前に、モデルマッチングされたプレーンエージェントベースラインを報告すべきである。

関連論文リスト

• Exploration Structure in LLM Agents for Multi-File Change Localization [7.536387580547836]
  ほとんどのAIエージェントは、リポジトリを線形に探索する。 非線形・ドメインスコープ並列エージェント探索に対する線形シーケンシャル探索の比較を行った。 単一のベースコミットに固定されたGitHubイシューの永続化セッション評価のためのアプローチを構築します。
  論文  参考訳（メタデータ） (2026-06-10T11:54:14Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• Automating Formal Verification with Agent-Guided Tree Search [0.0]
  形式的検証は、ソフトウェアを確実に修正する道を提供するが、検証済みのコードを書くのに十分な費用がかかるため、本番ではほとんど使われない。 最近のベンチマークでは、仕様をコードに変換する能力と、マシンチェックによる正確さの反復を計測している。 この論文は、リーンにおけるLCM駆動による検証コード生成の状況を評価し、パフォーマンスを改善するための検索ベースの手法を開発する。
  論文  参考訳（メタデータ） (2026-05-26T14:50:47Z)
• BatchBench: Toward a Workload-Aware Benchmark for Autoscaling Policies in Big Data Batch Processing -- A Proposed Framework [0.0]
  BatchBenchはオープンなベンチマークフレームワークで、平等な足場上でルールベース、学習、エージェントによるオートスケーリングポリシーを設定するように設計されている。 1)自動スケーリングベンチマークと公開クラスタトレースから合成された6つのバッチ処理クラスのワークロード,(2)2サンプルのKolmogorov-Smirnovとアースモーバー距離に基づく検証手法,(3)コスト,SLA達成,スケール応答性,スケールスラッシュ,決定解釈性を含む5軸評価ハーネス仕様,(4)LLMベースおよび強化学習オートスケーラをルールベースのコントローラとともに評価するための標準化されたエージェントインターフェース。
  論文  参考訳（メタデータ） (2026-05-12T15:36:20Z)
• Evaluating LLM-Based 0-to-1 Software Generation in End-to-End CLI Tool Scenarios [13.708123854369303]
  CLI-Tool-Benchは、Command-Line Interfaceツールの基底生成を評価するための構造に依存しないベンチマークである。 ブラックボックスの差分テストフレームワークを通じて評価された100の現実世界のリポジトリが特徴だ。 エージェント生成ソフトウェアはサンドボックスで実行され、システムサイドエフェクトと端末出力を人書きのオークルと比較する。
  論文  参考訳（メタデータ） (2026-04-08T07:09:10Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge [7.655956608192742]
  OpenAIのSimpleQAに基づいて,Large Language Model (LLM) の短文事実性を評価するための1000プロンプトベンチマークであるSimpleQA Verifiedを導入する。 OpenAIのベンチマークでは、ノイズや不正なラベル、トピックバイアス、質問の冗長性など、重要な制限に対処している。 この新しいベンチマークでは、Gemini 2.5 Proは最先端のF1スコア55.6を達成し、他のフロンティアモデルを上回っている。
  論文  参考訳（メタデータ） (2025-09-09T17:53:58Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。