論文の概要: Interaction2Code: How Far Are We From Automatic Interactive Webpage Generation?

• arxiv url: http://arxiv.org/abs/2411.03292v1
• Date: Tue, 05 Nov 2024 17:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:47.054284
• Title: Interaction2Code: How Far Are We From Automatic Interactive Webpage Generation?
• Title（参考訳）: Interaction2Code: 自動対話型Webページ生成からどのくらい離れていますか?
• Authors: Jingyu Xiao, Yuxuan Wan, Yintong Huo, Zhiyao Xu, Michael R. Lyu,
• Abstract要約: 本稿では,対話型Webページを生成する上で,MLLM(Multi-modal large language model)を初めて体系的に検討する。 具体的には、まずInteraction-to-Codeタスクを定式化し、Interaction2Codeベンチマークを構築します。 次に、自動計測と人的評価の両方を用いて、3つの最先端(SOTA)MLLMの総合的な実験を行う。
• 参考スコア（独自算出の注目度）: 30.540795619470483
• License:
• Abstract: Converting webpage design into functional UI code is a critical step for building websites, which can be labor-intensive and time-consuming. To automate this design-to-code transformation process, various automated methods using learning-based networks and multi-modal large language models (MLLMs) have been proposed. However, these studies were merely evaluated on a narrow range of static web pages and ignored dynamic interaction elements, making them less practical for real-world website deployment. To fill in the blank, we present the first systematic investigation of MLLMs in generating interactive webpages. Specifically, we first formulate the Interaction-to-Code task and build the Interaction2Code benchmark that contains 97 unique web pages and 213 distinct interactions, spanning 15 webpage types and 30 interaction categories. We then conduct comprehensive experiments on three state-of-the-art (SOTA) MLLMs using both automatic metrics and human evaluations, thereby summarizing six findings accordingly. Our experimental results highlight the limitations of MLLMs in generating fine-grained interactive features and managing interactions with complex transformations and subtle visual modifications. We further analyze failure cases and their underlying causes, identifying 10 common failure types and assessing their severity. Additionally, our findings reveal three critical influencing factors, i.e., prompts, visual saliency, and textual descriptions, that can enhance the interaction generation performance of MLLMs. Based on these findings, we elicit implications for researchers and developers, providing a foundation for future advancements in this field. Datasets and source code are available at https://github.com/WebPAI/Interaction2Code.
• Abstract（参考訳）: Webページのデザインを機能的なUIコードに変換することは、Webサイトを構築するための重要なステップである。 この設計からコードへの変換プロセスを自動化するために,学習ベースネットワークとマルチモーダル大言語モデル(MLLM)を用いた様々な自動手法が提案されている。 しかし、これらの研究は静的なページの狭い範囲でのみ評価され、動的相互作用要素は無視され、現実世界のWebサイト配置では実用的ではない。 この空白を埋めるために,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に検討する。 具体的には、まずInteraction-to-Codeタスクを定式化し、97のユニークなWebページと213の異なるインタラクションを含むInteraction2Codeベンチマークを構築します。 次に、自動計測と人的評価の両方を用いて、3つの最先端(SOTA)MLLMの総合的な実験を行い、6つの知見を要約した。 実験の結果,MLLMの細粒度インタラクティブな特徴の生成と複雑な変換と微妙な視覚的変化との相互作用管理における限界が強調された。 さらに、障害ケースとその根本原因を分析し、10の一般的な障害タイプを特定し、その重症度を評価します。 さらに,MLLMの相互作用生成性能を高めるために,プロンプト,視覚的サリエンシ,テキスト記述の3つの重要な要因が明らかになった。 これらの知見に基づき、研究者や開発者への影響を推し進め、この分野での今後の進歩の基盤を提供する。 データセットとソースコードはhttps://github.com/WebPAI/Interaction2Codeで入手できる。

関連論文リスト

• Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents [23.1522773245956]
  モデルベースプランニングで言語エージェントを増強する新しいパラダイムを導入する。 我々の方法であるWebDreamerは、LLMが本質的にウェブサイトの構造や機能に関する包括的知識をエンコードしているというキーインサイトを構築している。
  論文  参考訳（メタデータ） (2024-11-10T18:50:51Z)
• The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
  オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T23:28:15Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
  本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。 本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:18:12Z)
• Eliciting Model Steering Interactions from Users via Data and Visual Design Probes [8.45602005745865]
  ドメインの専門家は、機械学習(ML)モデルを作業に組み込むために、自動化データサイエンスツールをますます活用しています。 これらの専門家にとって、セマンティックなインタラクションは、技術的な詳細を掘り下げることなく、MLモデルをガイドし、洗練するためのアクセス可能な道を提供することができる。 本研究では,MLの専門知識を持つ専門家が意味的相互作用を用いて,単純な分類モデルを更新する方法について検討する。
  論文  参考訳（メタデータ） (2023-10-12T20:34:02Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction [50.986371459817256]
  本稿では,VIRT と呼ばれる新しいtextitVirtual InteRacTion 機構を提案する。 VIRTは、表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣する仮想インタラクションを実行するよう要求する。
  論文  参考訳（メタデータ） (2021-12-08T09:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。