論文の概要: TaoD2C-Bench: Benchmarking MLLMs for Industrial UI Code Generation Beyond Visual Fidelity
- arxiv url: http://arxiv.org/abs/2610.10374v1
- Date: Wed, 07 Oct 2026 16:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.051383
- Title: TaoD2C-Bench: Benchmarking MLLMs for Industrial UI Code Generation Beyond Visual Fidelity
- Title（参考訳）: TaoD2C-Bench: ビジュアル忠実性を超えた産業用UIコード生成のためのMLLMのベンチマーク
- Abstract要約: MLLM(Multimodal large language model)の鍵となる課題は、視覚認識から制約対応のクロスモーダル推論への移行である。
この課題は、UI(UI)設計をコードに変換するインダストリアルデザイン・トゥ・コード(D2C)において、非常に明白である。
産業アプリケーションにおける実装要件を満たすUIコードを生成するMLLMの能力を評価するベンチマークであるTaoD2C-Benchを提案する。
- 参考スコア（独自算出の注目度）: 5.272970740925926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key challenge for multimodal large language models (MLLMs) is moving beyond visual recognition to constraint-aware cross-modal reasoning. This involves combining visual cues with information from other modalities to understand elements' relationships under domain-specific rules. This challenge is acutely evident in industrial design-to-code (D2C), which converts user interface (UI) designs into code and requires MLLMs to connect design images with disorganized layer metadata, infer component and layout implementation requirements, and realize them in code under target-library constraints. However, these capabilities remain insufficiently evaluated in realistic industrial settings. To fill this gap, we present TaoD2C-Bench, a benchmark for evaluating MLLMs' ability to generate UI code that satisfies implementation requirements in industrial applications. The TaoD2C dataset consists of 2,861 production designs from 17 commercial platforms with 97,652 expert annotations across four categories: Component, Group, Alignment, and Position. These annotations distinguish required constraints from permitted implementation choices. TaoD2C-Bench defines three tasks: end-to-end UI code generation, requirement inference, and requirement realization. Evaluating eight MLLMs reveals substantial gaps in generating UI code that satisfies implementation requirements, alongside distinct performance profiles in inference and realization. We further show that MLLMs' visual reconstruction ability does not necessarily imply an ability to generate code that meets these requirements. We release TaoD2C to support research on industrial UI code generation.
- Abstract（参考訳）: MLLM(Multimodal large language model)の鍵となる課題は、視覚認識から制約対応のクロスモーダル推論への移行である。
これには、視覚的な手がかりと他のモダリティの情報を組み合わせて、ドメイン固有のルールの下で要素の関係を理解することが含まれる。
この課題は、UI(UI)設計をコードに変換し、MLLMが設計イメージを分解されたレイヤメタデータと接続し、コンポーネントとレイアウトの実装要件を推測し、ターゲットライブラリ制約の下でコード内でそれらを実現することを要求する産業設計用コード(D2C)において、非常に明白である。
しかし、これらの能力は、現実的な工業環境では不十分に評価されている。
このギャップを埋めるために,産業アプリケーションの実装要件を満たすUIコードを生成するMLLMの能力を評価するベンチマークであるTaoD2C-Benchを紹介する。
TaoD2Cデータセットは17の商用プラットフォームから2,861のプロダクション設計で構成され、コンポーネント、グループ、アライメント、位置の4つのカテゴリに97,652のエキスパートアノテーションがある。
これらのアノテーションは、必要な制約と許容された実装選択を区別します。
TaoD2C-Benchは、エンドツーエンドのUIコード生成、要件推論、要求実現の3つのタスクを定義している。
8つのMLLMを評価することで、推論と実現の異なるパフォーマンスプロファイルと並行して、実装要件を満たすUIコードの生成において、大きなギャップが明らかになる。
さらに、MLLMの視覚的再構成能力は、必ずしもこれらの要件を満たすコードを生成する能力を意味するものではないことを示す。
産業用UIコード生成の研究を支援するため,TaoD2Cをリリースする。
関連論文リスト
- Figma2Code: Automating Multimodal Design to Code in the Wild [85.29510079067464]
我々はFigma2Codeを紹介した。Figma2Codeは、デザインからコードへ、マルチモーダルな設定に進化させる新しいタスクである。
我々はFigmaコミュニティからペアデザインイメージとそのメタデータファイルを収集する。
このプロセスは3,055個のサンプルを生成し、そこからデザイナーは213の高品質なケースのバランスのとれたデータセットをキュレートする。
論文 参考訳（メタデータ） (2026-04-15T09:17:09Z) - Omni-I2C: A Holistic Benchmark for High-Fidelity Image-to-Code Generation [59.87131391492088]
我々は,複雑な構造化デジタルグラフィックスを実行可能なコードに変換する上で,LMM(Large Multimodal Models)の能力を評価するために設計されたベンチマークであるOmni-I2Cを提案する。
真のユーザソースのケースを組み込むことで、このベンチマークは広範囲のデジタルコンテンツにまたがる。
評価の結果,主要なLMM間の性能差が顕著であることがわかった。
論文 参考訳（メタデータ） (2026-03-18T09:10:04Z) - ComUICoder: Component-based Reusable UI Code Generation for Complex Websites via Semantic Segmentation and Element-wise Feedback [38.10354940578983]
複雑なWebサイトのためのセマンティックアウェアなコード生成ツールであるComUICoderを紹介した。
ComUICoderは、複雑なマルチページWebサイトの全体的な生成品質とコード再利用性を大幅に改善する。
論文 参考訳（メタデータ） (2026-02-22T17:17:16Z) - ScreenCoder: Advancing Visual-to-Code Generation for Front-End Automation via Modular Multimodal Agents [40.697759330690815]
ScreenCoderはモジュール型のマルチエージェントフレームワークで、タスクを3つの解釈可能なステージ(グラウンド、プランニング、生成)に分解する。
特殊エージェントにこれらの異なる責任を割り当てることで、我々のフレームワークはエンド・ツー・エンドのアプローチよりもはるかに高い堅牢性と忠実性を達成する。
提案手法は, レイアウト精度, 構造コヒーレンス, コード正確性において, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T16:41:21Z) - MLLM-Based UI2Code Automation Guided by UI Layout Information [17.177322441575196]
3つのキーモジュールを含む実世界のWebページイメージからUIコードを生成するMLLMベースの新しいフレームワークを提案する。
評価のために、Snap2Codeという350の現実世界のWebサイトを含む新しいベンチマークデータセットを構築しました。
論文 参考訳（メタデータ） (2025-06-12T06:04:16Z) - DesignBench: A Comprehensive Benchmark for MLLM-based Front-end Code Generation [31.237236649603123]
MLLM(Multimodal Large Language Models)は、フロントエンドの自動化において顕著な機能を示す。
DesignBenchは、自動フロントエンドエンジニアリングにおけるMLLMの機能を評価するためのベンチマークである。
論文 参考訳（メタデータ） (2025-06-06T17:21:21Z) - Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping [57.024913536420264]
MLLM(Multimodal Large Language Models)は、設計からコードへのタスクにおいて顕著な性能を示す。
本稿では,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に研究する。
論文 参考訳（メタデータ） (2024-11-05T17:40:03Z) - Design2Code: Benchmarking Multimodal Code Generation for Automated Front-End Engineering [74.99736967448423]
私たちは、このタスクのための最初の実世界のベンチマークであるDesign2Codeを構築します。
テストケースとして484の多様な実世界のWebページを手作業でキュレートし、自動評価指標のセットを開発する。
我々の詳細なブレークダウンメトリクスは、入力されたWebページから視覚要素をリコールし、正しいレイアウト設計を生成するモデルがほとんど遅れていることを示している。
論文 参考訳（メタデータ） (2024-03-05T17:56:27Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳（メタデータ） (2023-11-28T05:53:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。