Fugu-MT 論文翻訳(概要): LiveEvalBench: Toward Open-World Evaluation for Web Generation

論文の概要: LiveEvalBench: Toward Open-World Evaluation for Web Generation

arxiv url: http://arxiv.org/abs/2608.03689v1
Date: Tue, 04 Aug 2026 13:57:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:23.228942
Title: LiveEvalBench: Toward Open-World Evaluation for Web Generation
Title（参考訳）: LiveEvalBench: Web ジェネレーションのオープンワールド評価を目指して
Abstract要約: We present LiveEvalBench, a automated framework that a web-generation evaluation as an agentic, adapt, and rubric process。 LiveEvalBenchは、ビルドエンジニア、コードエンジニア、UIテスタがプロジェクトのライフサイクル全体にわたってエビデンスを収集する、共同レビューワークフローとして評価をインスタンス化する。
参考スコア（独自算出の注目度）: 13.061697292685173
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models are increasingly capable of synthesizing executable frontend projects, yet existing benchmarks still treat web generation as a static evaluation problem. We argue that frontend artifacts demand a different paradigm: they are interactive rather than static, admit diverse yet equally valid implementations, and evolve faster than rigid pipelines can accommodate. To address these gaps, we present LiveEvalBench, an automated framework that reformulates web-generation evaluation as an agentic, adaptive, and extensible process. LiveEvalBench instantiates evaluation as a collaborative review workflow, in which a Build Engineer, a Code Engineer, and a UI Tester collectively gather evidence across the full lifecycle of a frontend project, from deployment and code inspection to browser-based interaction. To handle implementation diversity, an adaptive protocol couples shared rubrics for cross-model comparability with implementation-grounded criteria tailored to each artifact. The framework further supports incremental integration of new evaluator roles and assessment dimensions without pipeline redesign. Experiments across diverse real-world web-generation scenarios show that LiveEvalBench aligns closely with human expert judgment and provides fine-grained insights into frontier models' web generation capabilities. Code is available at https://github.com/wyysteelhead/LiveEvalBench
Abstract（参考訳）: 大規模な言語モデルは、実行可能なフロントエンドプロジェクトを合成する能力がますます高まっているが、既存のベンチマークでは、Web生成を静的評価問題として扱っている。私たちは、フロントエンドアーティファクトは静的ではなくインタラクティブで、多種多様で同等に有効な実装を認め、堅固なパイプラインが許容できるよりも高速に進化する、という、異なるパラダイムを必要としている、と論じています。このギャップに対処するために、Webジェネレーション評価をエージェント的で適応的で拡張可能なプロセスとして再構成する自動化フレームワークLiveEvalBenchを提案する。 LiveEvalBenchは、ビルドエンジニア、コードエンジニア、UIテスタが、デプロイやコードインスペクションからブラウザベースのインタラクションに至るまで、フロントエンドプロジェクトのライフサイクル全体にわたって証拠を収集する、共同レビューワークフローとして評価をインスタンス化する。実装の多様性に対処するため、アダプティブプロトコルは、各アーティファクトに合わせた実装基準と、クロスモデル互換性のための共有ルーリックを結合する。このフレームワークは、パイプラインを再設計することなく、新たな評価役とアセスメントディメンションのインクリメンタルな統合もサポートする。さまざまな実世界のWeb生成シナリオに対する実験は、LiveEvalBenchが人間の専門家による判断と密接に一致し、フロンティアモデルのWeb生成機能に関する詳細な洞察を提供することを示している。コードはhttps://github.com/wyysteelhead/LiveEvalBenchで入手できる。

関連論文リスト

LongWebBench: Evaluating Structural and Functional Webpage Generation in Long-Horizon Settings [17.263377998800554]
LongWebBenchは、構造的および機能的両面から長期にわたるWebページ生成を評価するためのベンチマークである。構造的忠実度評価のための490の現実世界の長いWebページと、機能評価のための129のWebページ上の507の目標指向のインタラクションタスクを含んでいる。
論文参考訳（メタデータ） (2026-06-16T09:43:12Z)
A Benchmarking Framework for Multimodal User Interface Toolkits: Comparing Modality Coverage, Developer Workflow, and Experimental Support [0.0]
マルチモーダルユーザーインタフェースは、音声、ジェスチャー、視覚、視線、触覚、生体信号、その他のセンサーデータを組み合わせている。 Geno、Multisensor-Pipeline (MSP)、ReactGenie、EmoSyncといった過去5年間のツールキットは、開発者がそのようなインターフェースを簡単にプロトタイプできるようにすることを目指している。しかし、この分野には、これらのツールキットが実際にサポートしているもの、開発者がどれだけ実装をオフロードするか、どの評価戦略が適切なのかを比較するための、体系的で再利用可能な方法がない。
論文参考訳（メタデータ） (2026-06-02T00:31:38Z)
Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages [22.804937497354754]
複雑なインタラクションを伴う対話型Webページのコード生成を評価する最初のベンチマークであるWebIGBenchを紹介する。手動で設計したインタラクションパスとUI自動化を組み合わせることで、現実世界のWebサイトから103の複雑なWebページを収集しました。このベンチマークは、851の異なるインタラクティブアクションを含む5つの一般的なインタラクティブアクションタイプ(例えば、クリック、入力)をカバーする。
論文参考訳（メタデータ） (2026-05-29T05:45:50Z)
WebCompass: Towards Multimodal Web Coding Evaluation for Code Language Models [40.87133775066985]
我々はWebエンジニアリング能力のライフサイクルを統一的に評価するマルチモーダル・ベンチマークであるWebを紹介した。 Webは3つの入力モード(テキスト、画像)と3つのタスクタイプ(生成、編集、修復)にまたがる評価のために,チェックリストに誘導されたLDM-as-a-Judgeプロトコルを採用し,実際のブラウザで自動生成されたWebサイトを生成するための新しいエージェント-as-a-Judgeパラダイムを提案する。
論文参考訳（メタデータ） (2026-04-20T13:09:38Z)
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
論文参考訳（メタデータ） (2026-03-26T09:27:29Z)
UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。 UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文参考訳（メタデータ） (2026-03-24T13:01:31Z)
GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。 GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
論文参考訳（メタデータ） (2026-02-09T18:52:02Z)
ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文参考訳（メタデータ） (2026-01-16T08:23:52Z)
WebRenderBench: Enhancing Web Interface Generation through Layout-Style Consistency and Reinforcement Learning [24.178675410636135]
実世界のポータルサイトから収集した45.1kのWebページの大規模なベンチマークを示す。また、最終レンダリングページからレイアウトとスタイルの整合性を測定する新しい評価指標を提案する。
論文参考訳（メタデータ） (2025-10-05T08:47:39Z)
IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。 IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文参考訳（メタデータ） (2025-09-29T12:38:06Z)
ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文参考訳（メタデータ） (2025-07-07T12:53:00Z)
The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文参考訳（メタデータ） (2024-12-06T23:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。