論文の概要: Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages
- arxiv url: http://arxiv.org/abs/2606.00154v1
- Date: Fri, 29 May 2026 05:45:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.072536
- Title: Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages
- Title（参考訳）: 複雑対話型Webページのためのコード生成におけるマルチモーダルLLMのベンチマーク
- Abstract要約: 複雑なインタラクションを伴う対話型Webページのコード生成を評価する最初のベンチマークであるWebIGBenchを紹介する。
手動で設計したインタラクションパスとUI自動化を組み合わせることで、現実世界のWebサイトから103の複雑なWebページを収集しました。
このベンチマークは、851の異なるインタラクティブアクションを含む5つの一般的なインタラクティブアクションタイプ(例えば、クリック、入力)をカバーする。
- 参考スコア（独自算出の注目度）: 22.804937497354754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in multimodal large language models (MLLMs) have achieved remarkable progress in multimodal reasoning and code generation, catalyzing a new paradigm for front-end development. In particular, these models can directly transform visual designs into executable code, significantly improving the efficiency and adaptability of web development. Modern web applications are dynamic and interactive, featuring frequent user-page interactions. However, existing benchmarks largely evaluate the code generation of static webpages, ignoring the complex interactive behaviors in real-world applications. Besides, their evaluation criteria remain confined to visual fidelity and code structure, overlooking the interaction consistency between the generated and the reference webpages. To address these limitations, we introduce WebIGBench, the first benchmark designed to evaluate code generation for interactive webpages with complex interactions. By combining manually designed interaction paths with UI automation, we collected 103 complex webpages from real-world websites. This benchmark covers 5 popular interactive action types (e.g., click, input) involving 871 distinct interactive actions. Moreover, we propose a novel evaluation pipeline to address the gap in automated assessment of interactive actions. Extensive experiments on several representative MLLMs reveal the performance boundaries of current models in interactive webpage code generation using WebIGBench. The proposed benchmark is available at https://github.com/anoa12159-hue/WebIGBench_eval.
- Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、多モーダル推論とコード生成において顕著な進歩を遂げており、フロントエンド開発のための新しいパラダイムを触媒している。
特に、これらのモデルはビジュアルデザインを直接実行可能なコードに変換することができ、Web開発の効率性と適応性を大幅に向上させることができる。
モダンなWebアプリケーションは動的でインタラクティブで、頻繁にユーザーとページのインタラクションが特徴です。
しかし、既存のベンチマークは静的なWebページのコード生成を概ね評価しており、現実世界のアプリケーションにおける複雑なインタラクティブな振る舞いを無視している。
さらに、それらの評価基準は、生成したWebページと参照Webページ間の相互作用の整合性を見越して、視覚的忠実度とコード構造に限られている。
これらの制約に対処するため、複雑なインタラクションを持つ対話型Webページのコード生成を評価するために設計された最初のベンチマークであるWebIGBenchを紹介する。
手動で設計したインタラクションパスとUI自動化を組み合わせることで、現実世界のWebサイトから103の複雑なWebページを収集しました。
このベンチマークは、851の異なるインタラクティブアクションを含む5つの一般的なインタラクティブアクションタイプ(例えば、クリック、入力)をカバーする。
さらに,対話行動の自動評価におけるギャップに対処する新たな評価パイプラインを提案する。
WebIGBenchを用いた対話型Webページコード生成における現行モデルの性能境界を明らかにする。
提案されたベンチマークはhttps://github.com/anoa12159-hue/WebIGBench_evalで公開されている。
関連論文リスト
- LiveEvalBench: Toward Open-World Evaluation for Web Generation [13.061697292685173]
We present LiveEvalBench, a automated framework that a web-generation evaluation as an agentic, adapt, and rubric process。
LiveEvalBenchは、ビルドエンジニア、コードエンジニア、UIテスタがプロジェクトのライフサイクル全体にわたってエビデンスを収集する、共同レビューワークフローとして評価をインスタンス化する。
論文 参考訳（メタデータ） (2026-08-04T13:57:48Z) - UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation [35.72992007209751]
インタラクション推論をターゲットとする最初のベンチマーク、スクリーンショットのみからアプリケーションの振る舞いを復元する機能を紹介します。
UI2Appは、実行可能なマルチルートWebアプリケーションのための45のステートコヒーレントスクリーンショットセットにグループ化された327のスクリーンショットで構成されている。
実行可能性、ナビゲーション到達性、視覚的忠実性、相互作用推論の4つの次元に沿って、各アーティファクトを評価するエンドツーエンドパイプラインを設計する。
論文 参考訳（メタデータ） (2026-07-07T14:08:55Z) - InteractWeb-Bench: Can Multimodal Agent Escape Blind Execution in Interactive Website Generation? [20.180246350877045]
実世界の開発は、非専門家からの曖昧で低品質な命令とモデル理解のセマンティックなミスアライメントという、重要なボトルネックによって制約されている。
InactWeb-Benchは、未経験の低コードユーザ条件下でWebサイト生成のための最初のマルチモーダル対話型ベンチマークである。
論文 参考訳（メタデータ） (2026-04-30T04:49:34Z) - FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback [92.67587639164908]
マルチモーダルフィードバックを備えたフロントエンドコード生成のベンチマークであるFronTalkを紹介する。
我々は、フロントエンド開発タスクに集中し、100のマルチターン対話のコレクションであるFronTalkをキュレートする。
20モデルの評価は、文献で体系的に調査されていない2つの重要な課題を明らかにしている。
論文 参考訳（メタデータ） (2025-12-05T23:28:09Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳（メタデータ） (2025-09-29T12:38:06Z) - Generative Interfaces for Language Models [70.25765232527762]
ユーザインタフェース(UI)を積極的に生成することにより,大規模言語モデル(LLM)がユーザクエリに応答するパラダイムを提案する。
本フレームワークは,ユーザクエリをタスク固有のUIに変換するために,構造化インターフェース固有の表現と反復的洗練を活用している。
その結果、生成的インタフェースは人間の嗜好を最大72%改善し、会話的インタフェースよりも一貫して優れていた。
論文 参考訳（メタデータ） (2025-08-26T17:43:20Z) - ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。
我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。
我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2025-07-07T12:53:00Z) - Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping [57.024913536420264]
MLLM(Multimodal Large Language Models)は、設計からコードへのタスクにおいて顕著な性能を示す。
本稿では,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に研究する。
論文 参考訳（メタデータ） (2024-11-05T17:40:03Z) - On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。
本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
論文 参考訳（メタデータ） (2024-02-23T02:18:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。