論文の概要: AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs

• arxiv url: http://arxiv.org/abs/2607.14830v2
• Date: Fri, 17 Jul 2026 18:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 14:24:57.640568
• Title: AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs
• Title（参考訳）: AI Prototyper: LLMによる分解ベースのGUIプロトタイピングのためのFigmaプラグイン
• Authors: Tawatchai Salangsingha, Ashkan Sami, Md Zia Ullah, Iain McGregor,
• Abstract要約: 本稿では,GUIプロトタイピングを自動化するオープンソースのFigmaプラグインであるAI Prototyperを紹介する。 リクエストを個別のGUI機能に分解し、マッチするコンポーネントを検索し、各コンポーネントを完全に編集可能なFigmaレイヤとしてレンダリングする。 既存の分解ベースのツールとは違って、AI Prototyperでは、生成されたフィーチャーリストをレビュー、修正、拡張するヒューマン・イン・ザ・ループ編集ステップが導入されている。
• 参考スコア（独自算出の注目度）: 0.48998185508205744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical user interface (GUI) prototyping remains a time-consuming activity that demands both design expertise and considerable manual effort. As GUI prototypes are non-code artifacts that evolve alongside requirements throughout the development cycle, automating their generation is directly relevant to software maintenance and evolution. We present AI Prototyper, an open-source Figma plugin that automates GUI prototyping through a decomposition and retrieval-augmented generation (RAG) pipeline. Given a natural-language description of a desired screen, such as a login page or a product detail card, the plugin decomposes the request into discrete GUI features, retrieves matching components from a custom 32-primitive library, and renders each component as a fully editable Figma layer with auto-layout. The pipeline uses Gemini 2.5 Flash as its LLM back-end and a Node.js Express service. Unlike existing decomposition-based tools, AI Prototyper introduces a human-in-the-loop editing step that lets users review, modify, or extend the generated feature list before rendering, uses a different technology stack and LLM family, and supports multilingual input, producing correctly labelled interfaces in Thai, English, and Mandarin Chinese. In a preliminary evaluation, participants using AI Prototyper completed more prototypes in a fixed time window than those working manually, and expert practitioners rated the AI-generated prototypes higher across nine quality dimensions. A demonstration video is available at https://youtu.be/pRoFAH7MQaE. The source code and component library are available at https://github.com/tongsalangsingha/AI-prototyper-tool
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)プロトタイピングは、設計の専門知識とかなりの手作業の両方を必要とする時間を要する活動である。 GUIプロトタイプは、開発サイクルを通じて要求に沿って進化する非コードアーティファクトであるので、その生成を自動化することは、ソフトウェアのメンテナンスと進化に直接関係している。 本稿では,GUIプロトタイピングを自動化するオープンソースのFigmaプラグインであるAI Prototyperについて紹介する。 ログインページや製品詳細カードなどの所望の画面が自然言語で記述されていると、プラグインはリクエストを個別のGUI機能に分解し、カスタム32プリミティブライブラリからマッチングコンポーネントを検索し、各コンポーネントを自動レイアウトで完全に編集可能なFigmaレイヤとしてレンダリングする。 このパイプラインは、LLMバックエンドとNode.js Expressサービスとして、Gemini 2.5 Flashを使用している。 既存の分解ベースのツールとは異なり、AI Prototyperでは、レンダリング前に生成されたフィーチャーリストをレビュー、修正、拡張することが可能で、異なるテクノロジスタックとLLMファミリを使用し、多言語入力をサポートし、タイ語、英語、中国語で正しくラベル付けされたインターフェースを生成する。 予備評価では、AI Prototyperを使用する参加者は、手動で作業する人よりも、固定時間ウィンドウで多くのプロトタイプを完了し、専門家は9つの品質次元でAI生成プロトタイプを高く評価した。 デモビデオはhttps://youtu.be/pRoFAH7MQaEで公開されている。 ソースコードとコンポーネントライブラリはhttps://github.com/tongsalangsingha/AI-prototyper-toolで入手できる。

関連論文リスト

• GUIDE: LLM-Driven GUI Generation Decomposition for Automated Prototyping [55.762798168494726]
  印象的なコード生成機能を備えた大規模言語モデル(LLM)は、GUIプロトタイピングを自動化するための有望なアプローチを提供する。 しかし、現在のLLMベースのプロトタイピングソリューションと従来のユーザベースのGUIプロトタイピングアプローチの間にはギャップがある。 プロトタイピングフレームワークであるFigmaにシームレスに統合された新しいLLM駆動GUI生成分解手法であるGUIDEを提案する。
  論文  参考訳（メタデータ） (2025-02-28T14:03:53Z)
• AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs [54.58905728115257]
  そこで本稿では,UI要素に詳細な機能記述を自動アノテートする textbfAutoGUI パイプラインを提案する。 提案したパイプラインを用いて高品質なAutoGUI-704kデータセットを構築し,多種多様な機能アノテーションを特徴とする。 我々のデータセットは、VLMのUIグラウンド機能を大幅に強化し、大きなスケーリング効果を示す。
  論文  参考訳（メタデータ） (2025-02-04T03:39:59Z)
• InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection [38.833925781308665]
  MLLMベースのGUIエージェントである textitInfiGUIAgent を2段階の教師付き微調整パイプラインでトレーニングした。 ステージ1はGUIの理解や接地といった基本的なスキルを強化し、ステージ2は階層的推論と予測反射推論のスキルを統合する。 textitInfiGUIAgentは、いくつかのGUIベンチマークで競合するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-08T15:45:21Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach [55.762798168494726]
  グラフィカルユーザインタフェース(GUI)のプロトタイプにおいて,機能的NLベースの要求の実装を検証するための新しい言語モデル(LLM)ベースのアプローチを提案する。 提案手法は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-12T11:59:26Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• Reinforced UI Instruction Grounding: Towards a Generic UI Task Automation API [17.991044940694778]
  汎用的なUIタスク自動化エグゼキュータとして、与えられたUIスクリーンショットに自然言語命令をベースとしたマルチモーダルモデルを構築します。 画像からテキストまでの事前学習知識の活用を容易にするため,画素からシーケンスまでのパラダイムを踏襲する。 提案する強化UI命令グラウンドモデルでは,最先端の手法よりも明確なマージンで性能が向上する。
  論文  参考訳（メタデータ） (2023-10-07T07:22:41Z)
• Boosting GUI Prototyping with Diffusion Models [0.440401067183266]
  Stable Diffusionのようなディープラーニングモデルは、強力なテキスト・ツー・イメージツールとして登場した。 安定拡散を利用してモバイルUIを生成するアプローチであるUI-Diffuserを提案する。 予備的な結果は、UI-DiffuserがモバイルGUI設計を生成するための効率的でコスト効率の良い方法を提供することを示している。
  論文  参考訳（メタデータ） (2023-06-09T20:08:46Z)
• GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
  Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
  論文  参考訳（メタデータ） (2021-10-19T18:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。