論文の概要: Framework and Benchmark for Code-Driven Agentic Testing in Web Development

• arxiv url: http://arxiv.org/abs/2609.00081v1
• Date: Mon, 31 Aug 2026 10:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.856606
• Title: Framework and Benchmark for Code-Driven Agentic Testing in Web Development
• Title（参考訳）: Web開発におけるコード駆動エージェントテストのためのフレームワークとベンチマーク
• Abstract要約: textbfCode-driven textbfAgentic textbfTesting (CAT)は、エージェントがブラウザを動かすためにPlaywrightコードを書き、フィードバックを収集し、バグを明らかにするためにWebアプリケーションを自律的に探索するパラダイムである。 CATJudgeはブラウザとコンピュータのツールをひとつの環境に統合するエージェントフレームワークで、CATTestは102のAI生成Webアプリケーションのベンチマークで、慎重に注釈付けされたバグが書かれています。
• 参考スコア（独自算出の注目度）: 25.642063881090337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end GUI testing is essential for verifying web applications, yet existing evaluations rely on predefined checklists and are confined to the data and frameworks of web generation benchmarks, leaving the bug-discovery ability of vision-language models (VLMs) systematically untested. We introduce \textbf{C}ode-driven \textbf{A}gentic \textbf{T}esting (CAT), a paradigm in which the agent writes Playwright code to drive the browser, gathers feedback, and autonomously explores web applications to uncover bugs. We instantiate CAT with CATJudge, an agentic framework that unifies Browser-Use and Computer-Use tools within a single environment and CATTest, a benchmark of 102 AI-generated web applications with carefully annotated bugs, built through close human-AI collaboration to feature complex interactions and subtle defects. Experiments with mainstream VLMs show that all evaluated models perform poorly, revealing a clear gap between current VLM capabilities and the demands of real-world testing in AI web development. We release our code and data at https://github.com/SleepyWithoutCoffee/CATJudge.
• Abstract（参考訳）: エンドツーエンドのGUIテストはWebアプリケーションの検証には不可欠だが、既存の評価は事前に定義されたチェックリストに依存しており、Web生成ベンチマークのデータとフレームワークに限られており、視覚言語モデル(VLM)のバグ発見能力は体系的にテストされていない。 これは、エージェントがブラウザを動かすためにPlaywrightコードを書き、フィードバックを収集し、バグを明らかにするためにWebアプリケーションを自律的に探索するパラダイムである。 CATとCATJudgeは、ブラウザとコンピュータのツールをひとつの環境で統合するエージェントフレームワークで、CATTestは102のAI生成Webアプリケーションのベンチマークで、注意深く注釈付けされたバグがあり、複雑なインタラクションと微妙な欠陥を特徴とする、人間とAIの密接なコラボレーションによって構築されます。 主流のVLMを用いた実験では、すべての評価モデルの性能が低下していることが示され、現在のVLM機能とAI Web開発における実世界のテストの要求との明確なギャップが明らかになった。 コードとデータはhttps://github.com/SleepyWithoutCoffee/CATJudge.comで公開しています。

関連論文リスト

• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• InteractWeb-Bench: Can Multimodal Agent Escape Blind Execution in Interactive Website Generation? [20.180246350877045]
  実世界の開発は、非専門家からの曖昧で低品質な命令とモデル理解のセマンティックなミスアライメントという、重要なボトルネックによって制約されている。 InactWeb-Benchは、未経験の低コードユーザ条件下でWebサイト生成のための最初のマルチモーダル対話型ベンチマークである。
  論文  参考訳（メタデータ） (2026-04-30T04:49:34Z)
• WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
  エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。 テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。 以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-03-26T09:27:29Z)
• WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
  我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。 WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。 詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
  論文  参考訳（メタデータ） (2025-10-21T12:16:04Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• AI Agents for Web Testing: A Case Study in the Wild [20.669140680308494]
  本稿では,AIエージェントベースのWebテスティングフレームワークであるWebProberを紹介する。 URLを与えられたWebProberは、Webサイトを自律的に探索し、実際のユーザインタラクションをシミュレートし、バグとユーザビリティの問題を特定し、人間が読めるレポートを生成する。 120の学術的個人Webサイトのケーススタディを通じてWebProberを評価し,29のユーザビリティ問題を明らかにした。
  論文  参考訳（メタデータ） (2025-09-05T15:57:16Z)
• WebGames: Challenging General-Purpose Web-Browsing AI Agents [11.320069795732058]
  WebGamesは汎用的なWebブラウザAIエージェントを評価するために設計された包括的なベンチマークスイートである。 GPT-4o, Claude Computer-Use, Gemini-1.5-Pro, Qwen2-VLなどの視覚言語モデルを人為的性能に対して評価した。 その結果、最高のAIシステムは、人間のパフォーマンスが95.7%であるのに対して、43.1%の成功率しか達成していない。
  論文  参考訳（メタデータ） (2025-02-25T16:45:08Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。