論文の概要: EvoWeb: A Benchmark for Coding Agents on Evolving Web Applications

• arxiv url: http://arxiv.org/abs/2610.16402v1
• Date: Mon, 12 Oct 2026 08:42:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.337972
• Title: EvoWeb: A Benchmark for Coding Agents on Evolving Web Applications
• Title（参考訳）: EvoWeb: Webアプリケーションの進化におけるエージェントのコーディングベンチマーク
• Abstract要約: EvoWebは32のWebアプリケーションに対して320の累積リクエストからなる新しいベンチマークである。 我々は、一定の停止基準を課すのではなく、ユーザ-耐性しきい値間で軌道性能を統合する。 EvoWebは、重要な課題としてクロスリクエスト統合が登場し、モデル間での明確なパフォーマンスの違いを明らかにしている。
• 参考スコア（独自算出の注目度）: 47.51553094399057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Web application development often proceeds through successive requests that extend an existing implementation. Yet web-generation benchmarks primarily evaluate development toward fixed specifications. We introduce EvoWeb, a novel benchmark comprising 320 cumulative requests over 32 web applications, grounded in real-world product features and structured by functional dependency graphs. Agents iteratively modify a persistent codebase, while a multimodal web agent tests each intermediate application in a live browser, assessing newly requested functionality, cross-request integration, and previously requested functionality. To characterize reliability throughout development, we integrate trajectory performance across user-tolerance thresholds rather than impose a fixed stopping criterion. Experiments across open- and closed-source frontier models show that EvoWeb reveals clear performance differences between models, with cross-request integration emerging as a key challenge. Further analysis shows that later requests with deeper or more numerous dependencies are solved less accurately, while runtime errors become more frequent over successive requests. EvoWeb provides a testbed for evaluating and improving coding agents in long-horizon, multi-request development.
• Abstract（参考訳）: Webアプリケーション開発は、しばしば既存の実装を拡張する連続した要求を経る。 しかし、Webジェネレーションベンチマークは、主に固定仕様に向けた開発を評価する。 EvoWebは、32のWebアプリケーションに320の累積リクエストを持ち、実世界の製品機能に基盤を置いて、機能依存グラフで構造化された新しいベンチマークである。 エージェントは永続的なコードベースを反復的に変更し、マルチモーダルWebエージェントは、ライブブラウザで各中間アプリケーションをテストする。 開発全体を通して信頼性を特徴付けるため、一定の停止基準を課すのではなく、ユーザトレランスしきい値間で軌道性能を統合する。 オープンソースとクローズドなフロンティアモデルによる実験は、EvoWebがモデル間での明確なパフォーマンスの違いを明らかにしていることを示している。 さらに分析すると、後続の要求がより深く、あるいはもっと多くの依存関係を持つ場合、実行時のエラーが連続する要求よりも頻繁に発生するのに対して、より正確でないことが分かる。 EvoWebは、長期のマルチリクエスト開発におけるコーディングエージェントの評価と改善のためのテストベッドを提供する。

関連論文リスト

• WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective [30.852692231575602]
  ソフトウェアテストの観点からWebアプリケーション生成を評価するインタラクティブなベンチマークであるWebCraftBenchを提案する。 WebCraftBenchは、生成された各アプリケーションを計測し、コードカバレッジを使用して、ユーザシミュレートされたインタラクションを通じて、その機能を探索するエージェントをガイドする。 その後、インタラクショントレースを状態遷移グラフに抽象化し、視覚美学、ユーザビリティ、要求整合性の3次元に沿ってアプリケーションを評価する。
  論文  参考訳（メタデータ） (2026-09-14T11:14:39Z)
• Framework and Benchmark for Code-Driven Agentic Testing in Web Development [25.642063881090337]
  textbfCode-driven textbfAgentic textbfTesting (CAT)は、エージェントがブラウザを動かすためにPlaywrightコードを書き、フィードバックを収集し、バグを明らかにするためにWebアプリケーションを自律的に探索するパラダイムである。 CATJudgeはブラウザとコンピュータのツールをひとつの環境に統合するエージェントフレームワークで、CATTestは102のAI生成Webアプリケーションのベンチマークで、慎重に注釈付けされたバグが書かれています。
  論文  参考訳（メタデータ） (2026-08-31T10:07:51Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• From Runnable to Shippable: Multi-Agent Test-Driven Development for Generating Full-Stack Web Applications from Requirements [34.560333810255464]
  テスト駆動開発(TDDev)は、このクローズドループを3段階を通じて自動化するフレームワークである。 我々は、Webアプリケーション生成のためのテスト駆動開発戦略について、初めて制御された実証的研究を行う。 TDDevは、手動による開発者の介入をゼロに減らし、ワークロードを継続的プロンプトエンジニアリングから、自律的なフィードバック駆動の洗練へとシフトさせる。
  論文  参考訳（メタデータ） (2026-05-17T03:48:41Z)
• Automatically Generating Web Applications from Requirements Via Multi-Agent Test-Driven Development [34.560333810255464]
  私たちは、エンドツーエンドのフルスタックWebアプリケーション生成のための最初のテスト駆動開発フレームワークであるTDDevを紹介します。 自然言語の説明や設計イメージが与えられたら、TDDevは自動的に実行可能なテストケースを導き、フロントエンドとバックエンドのコードを生成し、ユーザーインタラクションをシミュレートします。 本フレームワークは,ユーザ要求の不明確さ,複数ファイル間の複雑な相互依存性,機能的正当性と視覚的忠実性といった,フルスタック自動化における重要な課題に対処する。
  論文  参考訳（メタデータ） (2025-09-29T16:18:19Z)
• WebExplorer: Explore and Evolve for Training Long-Horizon Web Agents [57.203515352080295]
  本稿では,モデルに基づく探索と反復的,長短のクエリ進化を用いた体系的データ生成手法であるWebExplorerを紹介する。 我々のモデルは、128Kのコンテキスト長と最大100のツール呼び出しスイッチをサポートし、長期の問題解決を可能にします。 8Bサイズのモデルとして、WebExplorer-8Bは、RLトレーニング後の平均16ターンを効果的に探索することができる。
  論文  参考訳（メタデータ） (2025-09-08T10:07:03Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。