論文の概要: WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective
- arxiv url: http://arxiv.org/abs/2609.15387v3
- Date: Sun, 20 Sep 2026 07:31:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 03:38:27.351094
- Title: WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective
- Title（参考訳）: WebCraftBench: ソフトウェアテストの観点からWebアプリケーション生成を評価する
- Abstract要約: ソフトウェアテストの観点からWebアプリケーション生成を評価するインタラクティブなベンチマークであるWebCraftBenchを提案する。
WebCraftBenchは、生成された各アプリケーションを計測し、コードカバレッジを使用して、ユーザシミュレートされたインタラクションを通じて、その機能を探索するエージェントをガイドする。
その後、インタラクショントレースを状態遷移グラフに抽象化し、視覚美学、ユーザビリティ、要求整合性の3次元に沿ってアプリケーションを評価する。
- 参考スコア（独自算出の注目度）: 30.852692231575602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human evaluation provides a direct measure of the quality of LLM-generated web applications. However, fitting human judgments through automated evaluation remains challenging. Static benchmarks can credit functionality that exists in source code but is unreachable at runtime. Interactive benchmarks exercise the application, yet incomplete exploration can cause them to miss implemented functionality and confound application defects with agent execution failures. To address these limitations, we propose WebCraftBench, an interactive benchmark for evaluating web application generation from a software testing perspective. WebCraftBench instruments each generated application and uses code coverage to guide an agent in exploring its functionality through user-simulated interactions. It then abstracts the interaction trace into a state-transition graph and evaluates the application along three dimensions: visual aesthetics, usability, and requirement alignment. By separating exploration from scoring, WebCraftBench collects runtime evidence without constraining exploration to predefined acceptance criteria. WebCraftBench comprises 369 real-world user requirements and 5,088 acceptance criteria. Evaluation of 17 frontier LLMs reveals distinct strengths across the three dimensions, with no model leading on every dimension. On 197 validated sessions sampled from an internal arena, WebCraftBench achieves 85.3\% agreement with human preferences, with agreement generally increasing as the score difference between paired applications grows. Further experiments show that coverage guidance improves exploration coverage and the model rankings remain stable when the judge model is replaced.
- Abstract（参考訳）: 人的評価は LLM 生成 Web アプリケーションの品質を直接測定する。
しかし, 自動評価による人的判断の適合は依然として困難である。
静的ベンチマークは、ソースコードに存在するが実行時に到達できない機能を信用することができる。
インタラクティブなベンチマークはアプリケーションを実行するが、不完全な探索は、実装された機能を見逃し、アプリケーションの欠陥をエージェントの実行失敗と混同させる原因となる可能性がある。
これらの制約に対処するため、ソフトウェアテストの観点からWebアプリケーション生成を評価するためのインタラクティブなベンチマークであるWebCraftBenchを提案する。
WebCraftBenchは、生成された各アプリケーションを計測し、コードカバレッジを使用して、ユーザシミュレートされたインタラクションを通じて、その機能を探索するエージェントをガイドする。
その後、インタラクショントレースを状態遷移グラフに抽象化し、視覚美学、ユーザビリティ、要求整合性の3次元に沿ってアプリケーションを評価する。
WebCraftBenchは、評価から探索を分離することで、事前に定義された受け入れ基準に探索を制約することなく実行時証拠を収集する。
WebCraftBenchは369の現実世界のユーザ要件と5,088の受け入れ基準で構成されている。
17のフロンティア LLM の評価は、3次元にわたって異なる強度を示し、すべての次元を導くモデルはない。
内部のアリーナからサンプリングされた197の検証されたセッションでは、WebCraftBenchは、人間の好みと85.3\%の合意を達成している。
さらに, サーベイ・ガイダンスは, サーベイ・カバレッジを改善し, ジャッジ・モデルが置き換えられた場合, モデルランキングが安定していることを示す。
関連論文リスト
- Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment [51.83961778298564]
Flower Hubは、分散およびフェデレーションされたアプリケーションを公開、発見、実行するためのプラットフォームです。
ベンチマークを実行可能としてパッケージングすることで再現性のあるベンチマークを実現する方法、標準化されたメタデータを備えたバージョン管理されたアプリケーション、ピン付き依存関係、明示的な評価について示す。
論文 参考訳（メタデータ） (2026-08-25T20:09:44Z) - LiveEvalBench: Toward Open-World Evaluation for Web Generation [13.061697292685173]
We present LiveEvalBench, a automated framework that a web-generation evaluation as an agentic, adapt, and rubric process。
LiveEvalBenchは、ビルドエンジニア、コードエンジニア、UIテスタがプロジェクトのライフサイクル全体にわたってエビデンスを収集する、共同レビューワークフローとして評価をインスタンス化する。
論文 参考訳（メタデータ） (2026-08-04T13:57:48Z) - UXBench: Measuring the Actionability of LLM-Generated UX Critiques [58.14408744110387]
対話型UX判断器として大規模言語モデル(LLM)を評価するベンチマークであるUXBenchを紹介する。
UXBenchは10の製品表面のファミリーにまたがる、ローカルファーストで実行可能なウェブフィクスチャで構成されており、カバーゲートのルーリック探索と組み合わせている。
8つのフロンティアモデルについて,自動修理作業プロトコルと視覚障害者による検証実験の両方で評価した。
論文 参考訳（メタデータ） (2026-06-15T06:08:39Z) - AndroidDaily: A Verifiable Benchmark for Mobile GUI Agents on Real-World Closed-Source Applications [36.71396790403699]
94の高周波Androidアプリケーションにまたがる350の日常的タスクからなる大規模ベンチマークであるAndroidDailyを紹介した。
本稿では,3段階の外部ガイドラインに基づくプロセス認識評価システムGRADEを提案する。
GRADEはステップレベルの診断結果を生成し、長い水平なオープンエンドのモバイルインタラクションを、隠れた内部状態に頼ることなく検証可能な評価に変換する。
論文 参考訳（メタデータ） (2026-05-26T23:19:42Z) - SAGE: A Service Agent Graph-guided Evaluation Benchmark [27.342044311161654]
本稿では,SAGE(Service Agent Graph-Guided Evaluation)を提案する。
SAGEは構造化されていないSOPを動的ダイアロググラフに形式化し、論理的コンプライアンスの正確な検証を可能にする。
また、モデルが論理的失敗にもかかわらず丁寧な会話ファサードを維持する現象である「共感回復」も観察する。
論文 参考訳（メタデータ） (2026-04-10T12:55:23Z) - UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳（メタデータ） (2026-03-24T13:01:31Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳（メタデータ） (2026-03-01T16:10:16Z) - AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。
厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。
また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
論文 参考訳（メタデータ） (2026-02-12T09:25:15Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳（メタデータ） (2025-09-29T12:38:06Z) - ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。
我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。
我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2025-07-07T12:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。