論文の概要: Does It Render Everywhere? A Study of Cross-Environment Compatibility in MLLM-Generated Webpages
- arxiv url: http://arxiv.org/abs/2608.12518v1
- Date: Wed, 12 Aug 2026 18:51:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.307757
- Title: Does It Render Everywhere? A Study of Cross-Environment Compatibility in MLLM-Generated Webpages
- Title（参考訳）: どこにでもレンダリングできるのか? : MLLM生成Webページにおけるクロス環境適合性の検討
- Abstract要約: 本稿では,AI 生成 Web ページにおける相互環境の整合性に関する,最初の体系的な実証的研究について述べる。
本研究は,互換性問題の発生頻度,ユーザの認識可能な症状,基礎となるコードレベルの根本原因を分析した。
我々は、軽量なオフライン互換性問題検出装置であるXCompatを開発した。
- 参考スコア（独自算出の注目度）: 5.946095461852089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) have been increasingly adopted to automate webpage generation from visual designs (e.g., screenshots). However, existing evaluations are limited to visual fidelity assessment under a fixed browser-device configuration. Such a setting overlooks the cross-environment rendering compatibility for real-world deployments. To address this gap, we present the first systematic empirical study of cross-environment compatibility in AI-generated webpages. Specifically, we construct WebCompat, a dataset of 2,032 annotated instances, comprising webpages generated by 8 representative AI tools, each rendered across 9 browser-and-device combinations. We analyze the prevalence of compatibility issues, their user-perceptible symptoms, and underlying code-level root causes. Our findings reveal that 68% of generated webpages exhibit at least one compatibility issue, underscoring the pervasive reliability concerns surrounding MLLM-generated front-end artifacts. The most prevalent symptoms are failures that disrupt the entire page layout (88.3%): pages shrink directly to fit the target screen with too small fonts, or exhibit scale mismatches that produce cut-off content. Failures localized to individual elements, such as image distortion or missing components, are comparatively less common (13.4%). Furthermore, although most MLLMs incorporate responsive design patterns into the generation, they fail to properly implement these codes. Guided by the findings, we develop XCompat, a lightweight offline compatibility issue detector that combines visual screenshots and the structural DOM tree for analysis. It achieves an F1 score of 0.903 on the WebCompat-test, outperforming the existing compatibility checking tools and LLM baselines. All datasets and tools are released to support future research on rendering reliability in MLLM-based front-end code generation.
- Abstract（参考訳）: ビジュアルデザイン(スクリーンショットなど)からWebページ生成を自動化するために、MLLM(Multimodal Large Language Models)がますます採用されている。
しかし、既存の評価は、固定されたブラウザデバイス構成下での視覚的忠実度評価に限られている。
このような設定は、現実世界のデプロイメントにおいて、環境間のレンダリング互換性を見落としている。
このギャップに対処するために、AI生成Webページにおけるクロス環境互換性に関する最初の体系的な実証的研究を示す。
具体的には、8つの代表的AIツールによって生成されたWebページで構成され、それぞれが9つのブラウザとデバイスの組み合わせでレンダリングされる2,032のアノテーション付きインスタンスのデータセットであるWebCompatを構築します。
本研究は,互換性問題の発生頻度,ユーザの認識可能な症状,基礎となるコードレベルの根本原因を分析した。
その結果,生成したWebページの68%が少なくとも1つの互換性の問題を示しており,MLLM生成したフロントエンドアーティファクトに関する広範囲にわたる信頼性の懸念を浮き彫りにしていることがわかった。
最も一般的な症状はページレイアウト全体を破壊する障害(88.3%)であり、ページはターゲット画面に直接縮小してフォントが小さすぎるか、カットオフコンテンツを生成するスケールミスマッチを示す。
画像歪みや欠落成分などの個々の要素に局所化された障害は、比較的一般的ではない(13.4%)。
さらに、ほとんどのMLLMは応答性のある設計パターンを世代に組み込んでいるが、これらのコードを適切に実装することはできなかった。
XCompatは、視覚的なスクリーンショットと構造DOMツリーを組み合わせて分析を行う軽量のオフライン互換性問題検出装置である。
WebCompat-testのF1スコアは0.903で、既存の互換性チェックツールやLLMベースラインよりも優れています。
MLLMベースのフロントエンドコード生成におけるレンダリング信頼性に関する将来の研究をサポートするために、すべてのデータセットとツールがリリースされた。
関連論文リスト
- Framework and Benchmark for Code-Driven Agentic Testing in Web Development [25.642063881090337]
textbfCode-driven textbfAgentic textbfTesting (CAT)は、エージェントがブラウザを動かすためにPlaywrightコードを書き、フィードバックを収集し、バグを明らかにするためにWebアプリケーションを自律的に探索するパラダイムである。
CATJudgeはブラウザとコンピュータのツールをひとつの環境に統合するエージェントフレームワークで、CATTestは102のAI生成Webアプリケーションのベンチマークで、慎重に注釈付けされたバグが書かれています。
論文 参考訳（メタデータ） (2026-08-31T10:07:51Z) - UXBench: Measuring the Actionability of LLM-Generated UX Critiques [58.14408744110387]
対話型UX判断器として大規模言語モデル(LLM)を評価するベンチマークであるUXBenchを紹介する。
UXBenchは10の製品表面のファミリーにまたがる、ローカルファーストで実行可能なウェブフィクスチャで構成されており、カバーゲートのルーリック探索と組み合わせている。
8つのフロンティアモデルについて,自動修理作業プロトコルと視覚障害者による検証実験の両方で評価した。
論文 参考訳（メタデータ） (2026-06-15T06:08:39Z) - CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend [2.9612444540570113]
診断フレーミングにおけるブラウザ可視性障害証拠とバックエンド可観測性を組み合わせた最初のベンチマークであるCUJBenchを提案する。
このベンチマークでは、全体的な精度は19.7%、天井は52%、飽和度よりかなり低い。
論文 参考訳（メタデータ） (2026-04-25T22:10:53Z) - WebForge: Breaking the Realism-Reproducibility-Scalability Trilemma in Browser Agent Benchmark [10.793973999774026]
既存のブラウザエージェントベンチマークは、基本的なトリレンマに直面している: リアルタイムWebサイトベンチマークは、コンテンツドリフトによる欠如、コントロールされた環境は、実際のWebノイズを省いてリアリズムを犠牲にする。
私たちは、このトリレンマを解決する最初の完全に自動化されたフレームワークであるWebForgeを紹介します。
7次元の難易度制御フレームワークは、ナビゲーション深度、視覚的複雑さ、推論困難度などに沿ってタスク設計を構成し、単一の集計スコアを超える体系的な能力プロファイルを可能にする。
論文 参考訳（メタデータ） (2026-04-13T04:45:27Z) - WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。
テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。
以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2026-03-26T09:27:29Z) - WebRenderBench: Enhancing Web Interface Generation through Layout-Style Consistency and Reinforcement Learning [24.178675410636135]
実世界のポータルサイトから収集した45.1kのWebページの大規模なベンチマークを示す。
また、最終レンダリングページからレイアウトとスタイルの整合性を測定する新しい評価指標を提案する。
論文 参考訳（メタデータ） (2025-10-05T08:47:39Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳（メタデータ） (2025-09-29T12:38:06Z) - Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety [9.588706798051955]
マルチモーダルな大規模言語モデル(MLLM)は、複雑なWeb関連アプリケーションを構築するためのAIコラボレータとしてますます位置づけられている。
我々は、WebRSSBenchと呼ばれる総合的なWeb理解ベンチマークを導入し、8つのタスクでReasoning, Robustness, Safetyを共同で評価する。
このベンチマークは729のウェブサイトから構築され、3799の質問応答ペアが含まれており、ページ構造、テキスト、ウィジェット、安全クリティカルな相互作用に関する多段階の推論を探索している。
論文 参考訳（メタデータ） (2025-09-26T02:38:14Z) - Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping [57.024913536420264]
MLLM(Multimodal Large Language Models)は、設計からコードへのタスクにおいて顕著な性能を示す。
本稿では,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に研究する。
論文 参考訳（メタデータ） (2024-11-05T17:40:03Z) - WebCode2M: A Real-World Dataset for Code Generation from Webpage Designs [49.91550773480978]
本稿では256万のインスタンスからなる新しいデータセットであるWebCode2Mを紹介する。
WebCode2Mの有効性を検証するため,WebCoderという名称のVision Transformer(ViT)に基づくベースラインモデルを導入し,公正比較のためのベンチマークを確立する。
ベンチマークの結果、我々のデータセットは、Webページの設計からコードを生成するMLLMの能力を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-04-09T15:05:48Z) - VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。
Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。
benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
論文 参考訳（メタデータ） (2024-04-09T02:29:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。