論文の概要: Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping

• arxiv url: http://arxiv.org/abs/2411.03292v2
• Date: Thu, 20 Feb 2025 06:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 17:43:50.804267
• Title: Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping
• Title（参考訳）: Interaction2Code:インタラクティブプロトタイピングによるMLLMベースのインタラクティブWebページコード生成のベンチマーク
• Authors: Jingyu Xiao, Yuxuan Wan, Yintong Huo, Zixin Wang, Xinyi Xu, Wenxuan Wang, Zhiyao Xu, Yuhang Wang, Michael R. Lyu,
• Abstract要約: MLLM(Multimodal Large Language Models)は、設計からコードへのタスクにおいて顕著な性能を示す。 本稿では,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に研究する。
• 参考スコア（独自算出の注目度）: 57.024913536420264
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated remarkable performance on the design-to-code task, i.e., generating UI code from UI mock-ups. However, existing benchmarks only contain static web pages for evaluation and ignore the dynamic interaction, limiting the practicality, usability and user engagement of the generated webpages. To bridge these gaps, we present the first systematic investigation of MLLMs in generating interactive webpages. Specifically, we formulate the Interaction-to-Code task and establish the Interaction2Code benchmark, encompassing 127 unique webpages and 374 distinct interactions across 15 webpage types and 31 interaction categories. Through comprehensive experiments utilizing state-of-the-art (SOTA) MLLMs, evaluated via both automatic metrics and human assessments, we identify four critical limitations of MLLM on Interaction-to-Code task: (1) inadequate generation of interaction compared with full page, (2) prone to ten types of failure, (3) poor performance on visually subtle interactions, and (4) insufficient undestanding on interaction when limited to single-modality visual descriptions. To address these limitations, we propose four enhancement strategies: Interactive Element Highlighting, Failureaware Prompting (FAP), Visual Saliency Enhancement, and Visual-Textual Descriptions Combination, all aiming at improving MLLMs' performance on the Interaction-toCode task. The Interaction2Code benchmark and code are available in https://github. com/WebPAI/Interaction2Code.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、UIモックアップからUIコードを生成する設計・コーディングタスクにおいて、顕著なパフォーマンスを示す。 しかし、既存のベンチマークは静的なWebページのみを含み、動的インタラクションを無視し、生成されたWebページの実用性、ユーザビリティ、ユーザエンゲージメントを制限する。 これらのギャップを埋めるために、インタラクティブなWebページを生成する上で、MLLMを初めて体系的に調査する。 具体的には、Interaction-to-Codeタスクを定式化し、Interaction2Codeベンチマークを確立する。 自動計測とヒューマンアセスメントの両方を用いて評価した「SOTA(State-of-the-art)MLLM」を用いた総合的な実験を通じて、(1)インタラクション・ツー・コードタスクにおけるMLLMの4つの重要な限界を識別する:(1) フルページと比較してのインタラクションの不十分な生成、(2) 10種類の障害の傾向、(3) 視覚的に微妙なインタラクションにおけるパフォーマンスの低下、(4) 単一モードの視覚的記述に制限された場合のインタラクションの不確定性。 これらの制限に対処するために、インタラクティブな要素ハイライト、フェールアウェア・プロンプト(FAP)、ビジュアル・サリエンシ・エンハンスメント、ビジュアル・テキスト記述の組み合わせという4つの強化戦略を提案する。 Interaction2Codeのベンチマークとコードはhttps://github.com/で公開されている。 http://www.webPAI/Interaction2Code.com/WebPAI/Interaction2Code.com

関連論文リスト

• PAFFA: Premeditated Actions For Fast Agents [23.363582411971567]
  PAFFAは、再利用可能な、検証済みのブラウザインタラクション関数のAction API Libraryを通じて、Webインタラクション機能を強化するように設計されたフレームワークである。 Webサイト構造が進化しても、堅牢なパフォーマンスを維持しながら、推論コールを87%削減する。 このフレームワークはマルチページタスクの実行を加速し、自律的なWebエージェントの研究を進めるためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-10T22:51:31Z)
• VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
  MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。 Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。 benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
  論文  参考訳（メタデータ） (2024-04-09T02:29:39Z)
• On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
  本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。 本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:18:12Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• ChatSpot: Bootstrapping Multimodal LLMs via Precise Referring Instruction Tuning [24.87615615489849]
  本稿では,ポイントやボックスなどの多様な参照表現を参照プロンプトとして用いて,特定の領域を参照するための正確な参照命令を提案する。 マウスクリックやドラッグアンドドロップ,描画ボックスなど,さまざまな形式の対話性をサポートする,エンドツーエンドの多モーダルな大規模言語モデルであるChatSpotを提案する。
  論文  参考訳（メタデータ） (2023-07-18T17:56:06Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。