論文の概要: Interaction2Code: How Far Are We From Automatic Interactive Webpage Generation?

• arxiv url: http://arxiv.org/abs/2411.03292v1
• Date: Tue, 05 Nov 2024 17:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:47.054284
• Title: Interaction2Code: How Far Are We From Automatic Interactive Webpage Generation?
• Title（参考訳）: Interaction2Code: 自動対話型Webページ生成からどのくらい離れていますか?
• Authors: Jingyu Xiao, Yuxuan Wan, Yintong Huo, Zhiyao Xu, Michael R. Lyu,
• Abstract要約: 本稿では,対話型Webページを生成する上で,MLLM(Multi-modal large language model)を初めて体系的に検討する。 具体的には、まずInteraction-to-Codeタスクを定式化し、Interaction2Codeベンチマークを構築します。 次に、自動計測と人的評価の両方を用いて、3つの最先端(SOTA)MLLMの総合的な実験を行う。
• 参考スコア（独自算出の注目度）: 30.540795619470483
• License:
• Abstract: Converting webpage design into functional UI code is a critical step for building websites, which can be labor-intensive and time-consuming. To automate this design-to-code transformation process, various automated methods using learning-based networks and multi-modal large language models (MLLMs) have been proposed. However, these studies were merely evaluated on a narrow range of static web pages and ignored dynamic interaction elements, making them less practical for real-world website deployment. To fill in the blank, we present the first systematic investigation of MLLMs in generating interactive webpages. Specifically, we first formulate the Interaction-to-Code task and build the Interaction2Code benchmark that contains 97 unique web pages and 213 distinct interactions, spanning 15 webpage types and 30 interaction categories. We then conduct comprehensive experiments on three state-of-the-art (SOTA) MLLMs using both automatic metrics and human evaluations, thereby summarizing six findings accordingly. Our experimental results highlight the limitations of MLLMs in generating fine-grained interactive features and managing interactions with complex transformations and subtle visual modifications. We further analyze failure cases and their underlying causes, identifying 10 common failure types and assessing their severity. Additionally, our findings reveal three critical influencing factors, i.e., prompts, visual saliency, and textual descriptions, that can enhance the interaction generation performance of MLLMs. Based on these findings, we elicit implications for researchers and developers, providing a foundation for future advancements in this field. Datasets and source code are available at https://github.com/WebPAI/Interaction2Code.
• Abstract（参考訳）: Webページのデザインを機能的なUIコードに変換することは、Webサイトを構築するための重要なステップである。 この設計からコードへの変換プロセスを自動化するために,学習ベースネットワークとマルチモーダル大言語モデル(MLLM)を用いた様々な自動手法が提案されている。 しかし、これらの研究は静的なページの狭い範囲でのみ評価され、動的相互作用要素は無視され、現実世界のWebサイト配置では実用的ではない。 この空白を埋めるために,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に検討する。 具体的には、まずInteraction-to-Codeタスクを定式化し、97のユニークなWebページと213の異なるインタラクションを含むInteraction2Codeベンチマークを構築します。 次に、自動計測と人的評価の両方を用いて、3つの最先端(SOTA)MLLMの総合的な実験を行い、6つの知見を要約した。 実験の結果,MLLMの細粒度インタラクティブな特徴の生成と複雑な変換と微妙な視覚的変化との相互作用管理における限界が強調された。 さらに、障害ケースとその根本原因を分析し、10の一般的な障害タイプを特定し、その重症度を評価します。 さらに,MLLMの相互作用生成性能を高めるために,プロンプト,視覚的サリエンシ,テキスト記述の3つの重要な要因が明らかになった。 これらの知見に基づき、研究者や開発者への影響を推し進め、この分野での今後の進歩の基盤を提供する。 データセットとソースコードはhttps://github.com/WebPAI/Interaction2Codeで入手できる。

関連論文リスト

• PAFFA: Premeditated Actions For Fast Agents [23.363582411971567]
  PAFFAは、再利用可能な、検証済みのブラウザインタラクション関数のAction API Libraryを通じて、Webインタラクション機能を強化するように設計されたフレームワークである。 Webサイト構造が進化しても、堅牢なパフォーマンスを維持しながら、推論コールを87%削減する。 このフレームワークはマルチページタスクの実行を加速し、自律的なWebエージェントの研究を進めるためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-10T22:51:31Z)
• VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
  MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。 Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。 benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
  論文  参考訳（メタデータ） (2024-04-09T02:29:39Z)
• On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
  本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。 本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:18:12Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• ChatSpot: Bootstrapping Multimodal LLMs via Precise Referring Instruction Tuning [24.87615615489849]
  本稿では,ポイントやボックスなどの多様な参照表現を参照プロンプトとして用いて,特定の領域を参照するための正確な参照命令を提案する。 マウスクリックやドラッグアンドドロップ,描画ボックスなど,さまざまな形式の対話性をサポートする,エンドツーエンドの多モーダルな大規模言語モデルであるChatSpotを提案する。
  論文  参考訳（メタデータ） (2023-07-18T17:56:06Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。