論文の概要: GUIDE: LLM-Driven GUI Generation Decomposition for Automated Prototyping

• arxiv url: http://arxiv.org/abs/2502.21068v1
• Date: Fri, 28 Feb 2025 14:03:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:16.146035
• Title: GUIDE: LLM-Driven GUI Generation Decomposition for Automated Prototyping
• Title（参考訳）: GUIDE: 自動プロトタイピングのためのLLM駆動GUI生成分解
• Authors: Kristian Kolthoff, Felix Kretzer, Christian Bartelt, Alexander Maedche, Simone Paolo Ponzetto,
• Abstract要約: 印象的なコード生成機能を備えた大規模言語モデル(LLM)は、GUIプロトタイピングを自動化するための有望なアプローチを提供する。 しかし、現在のLLMベースのプロトタイピングソリューションと従来のユーザベースのGUIプロトタイピングアプローチの間にはギャップがある。 プロトタイピングフレームワークであるFigmaにシームレスに統合された新しいLLM駆動GUI生成分解手法であるGUIDEを提案する。
• 参考スコア（独自算出の注目度）: 55.762798168494726
• License:
• Abstract: GUI prototyping serves as one of the most valuable techniques for enhancing the elicitation of requirements and facilitating the visualization and refinement of customer needs. While GUI prototyping has a positive impact on the software development process, it simultaneously demands significant effort and resources. The emergence of Large Language Models (LLMs) with their impressive code generation capabilities offers a promising approach for automating GUI prototyping. Despite their potential, there is a gap between current LLM-based prototyping solutions and traditional user-based GUI prototyping approaches which provide visual representations of the GUI prototypes and direct editing functionality. In contrast, LLMs and related generative approaches merely produce text sequences or non-editable image output, which lacks both mentioned aspects and therefore impede supporting GUI prototyping. Moreover, minor changes requested by the user typically lead to an inefficient regeneration of the entire GUI prototype when using LLMs directly. In this work, we propose GUIDE, a novel LLM-driven GUI generation decomposition approach seamlessly integrated into the popular prototyping framework Figma. Our approach initially decomposes high-level GUI descriptions into fine-granular GUI requirements, which are subsequently translated into Material Design GUI prototypes, enabling higher controllability and more efficient adaption of changes. To efficiently conduct prompting-based generation of Material Design GUI prototypes, we propose a retrieval-augmented generation approach to integrate the component library. Our preliminary evaluation demonstrates the effectiveness of GUIDE in bridging the gap between LLM generation capabilities and traditional GUI prototyping workflows, offering a more effective and controlled user-based approach to LLM-driven GUI prototyping. Video: https://youtu.be/C9RbhMxqpTU
• Abstract（参考訳）: GUIプロトタイピング(GUI Prototyping)は、要求の緩和と顧客ニーズの可視化と洗練を促進するための最も価値のある手法の1つである。 GUIプロトタイピングはソフトウェア開発プロセスに肯定的な影響を与えるが、同時に多大な労力とリソースを必要としている。 印象的なコード生成機能を備えた大規模言語モデル(LLM)の出現は、GUIプロトタイピングを自動化するための有望なアプローチを提供する。 その可能性にもかかわらず、現在のLLMベースのプロトタイピングソリューションと、GUIプロトタイプの視覚的表現と直接編集機能を提供する従来のユーザベースのGUIプロトタイピングアプローチの間には、ギャップがある。 対照的に、LLMと関連する生成アプローチは、単にテキストシーケンスや編集不可能な画像出力を生成するだけであり、両方の側面が欠如しているため、GUIプロトタイピングを阻害する。 さらに、ユーザが要求するマイナーな変更は、通常、直接LLMを使用する場合、GUIプロトタイプ全体の非効率な再生につながる。 本稿では,新しいLLM駆動GUI生成分解手法であるGUIDEを,人気のあるプロトタイピングフレームワークであるFigmaにシームレスに統合した。 提案手法は,高レベルGUI記述を細粒度GUI要求に分解し,その後マテリアルデザインGUIプロトタイプに変換することで,制御性の向上と変更の適応性の向上を実現する。 本稿では,マテリアルデザインGUIのプロトタイプをプロンプトベースで効率的に生成するために,コンポーネントライブラリを統合する検索拡張生成手法を提案する。 予備評価では,LLM生成機能と従来のGUIプロトタイピングワークフローとのギャップを埋めるGUIDEの有効性を示し,LLM駆動のGUIプロトタイピングに対して,より効果的かつ制御されたユーザベースアプローチを提供する。 ビデオ: https://youtu.be/C9RbhMxqpTU

関連論文リスト

• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Fragmented Layer Grouping in GUI Designs Through Graph Learning Based on Multimodal Information [12.302861965706885]
  産業的なGUI-to-codeプロセスでは、断片化されたレイヤによって生成されたコードの可読性と保守性が低下する可能性がある。 本研究では,設計プロトタイプのマルチモーダル情報に基づいて,断片化層群問題にグラフ学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-07T06:31:09Z)
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• Self-Elicitation of Requirements with Automated GUI Prototyping [12.281152349482024]
  SERGUIは、自動GUIプロトタイピングアシスタントに基づく、要求の自己適用を可能にする新しいアプローチである。 SerGUIは、NLR(Natural Language Requirements)ベースのGUI検索を通じて、大規模なGUIリポジトリに具現化された膨大なプロトタイピング知識を活用する。 提案手法の有効性を評価するため,予備評価を行った。
  論文  参考訳（メタデータ） (2024-09-24T18:40:38Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach [55.762798168494726]
  グラフィカルユーザインタフェース(GUI)のプロトタイプにおいて,機能的NLベースの要求の実装を検証するための新しい言語モデル(LLM)ベースのアプローチを提案する。 提案手法は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-12T11:59:26Z)
• Boosting GUI Prototyping with Diffusion Models [0.440401067183266]
  Stable Diffusionのようなディープラーニングモデルは、強力なテキスト・ツー・イメージツールとして登場した。 安定拡散を利用してモバイルUIを生成するアプローチであるUI-Diffuserを提案する。 予備的な結果は、UI-DiffuserがモバイルGUI設計を生成するための効率的でコスト効率の良い方法を提供することを示している。
  論文  参考訳（メタデータ） (2023-06-09T20:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。