論文の概要: Boosting GUI Prototyping with Diffusion Models
- arxiv url: http://arxiv.org/abs/2306.06233v1
- Date: Fri, 9 Jun 2023 20:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 20:21:30.587705
- Title: Boosting GUI Prototyping with Diffusion Models
- Title(参考訳): 拡散モデルを用いたGUIプロトタイピングの高速化
- Authors: Jialiang Wei, Anne-Lise Courbis, Thomas Lambolais, Binbin Xu, Pierre
Louis Bernard, G\'erard Dray
- Abstract要約: Stable Diffusionのようなディープラーニングモデルは、強力なテキスト・ツー・イメージツールとして登場した。
安定拡散を利用してモバイルUIを生成するアプローチであるUI-Diffuserを提案する。
予備的な結果は、UI-DiffuserがモバイルGUI設計を生成するための効率的でコスト効率の良い方法を提供することを示している。
- 参考スコア(独自算出の注目度): 0.440401067183266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI (graphical user interface) prototyping is a widely-used technique in
requirements engineering for gathering and refining requirements, reducing
development risks and increasing stakeholder engagement. However, GUI
prototyping can be a time-consuming and costly process. In recent years, deep
learning models such as Stable Diffusion have emerged as a powerful
text-to-image tool capable of generating detailed images based on text prompts.
In this paper, we propose UI-Diffuser, an approach that leverages Stable
Diffusion to generate mobile UIs through simple textual descriptions and UI
components. Preliminary results show that UI-Diffuser provides an efficient and
cost-effective way to generate mobile GUI designs while reducing the need for
extensive prototyping efforts. This approach has the potential to significantly
improve the speed and efficiency of GUI prototyping in requirements
engineering.
- Abstract(参考訳): gui(graphical user interface)プロトタイピング(プロトタイピング)は,要件の収集と洗練,開発リスクの低減,ステークホルダの関与の増大といった,要件エンジニアリングにおいて広く使用されているテクニックである。
しかし、GUIプロトタイピングは時間がかかるしコストもかかる。
近年、安定拡散などのディープラーニングモデルが、テキストプロンプトに基づいて詳細な画像を生成する強力なテキスト対画像ツールとして登場している。
本稿では,Stable Diffusionを利用したシンプルなテキスト記述とUIコンポーネントによるモバイルUI生成手法であるUI-Diffuserを提案する。
予備的な結果から、UI-Diffuserは、広範囲なプロトタイピング作業の必要を減らしながら、モバイルGUIデザインを生成するための効率的でコスト効率の良い方法を提供する。
このアプローチは、要求工学におけるGUIプロトタイピングのスピードと効率を大幅に改善する可能性がある。
関連論文リスト
- Comprehensive Cognitive LLM Agent for Smartphone GUI Automation [69.32269322774543]
大規模言語モデル(LLM)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
我々は、包括的環境認識(CEP)と条件付き行動予測(CAP)という2つの新しいアプローチで、包括的包括的アンダーラインAgent(CoCo-Agent)を提案する。
本稿では, AITW と META-GUI ベンチマークにおいて, 現実的なシナリオにおいて有望な性能を示す新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-19T08:29:03Z) - PromptInfuser: How Tightly Coupling AI and UI Design Impacts Designers'
Workflows [23.386764579779538]
設計者のAIイテレーションに,プロンプトとUIデザインの結合がどう影響するかを検討する。
本研究では,ユーザがモックアップを作成できるFigmaプラグインであるPromptInfuserを開発した。
14人のデザイナによる調査では、PromptInfuserとデザイナの現在のAIプロトタイピングワークフローを比較します。
論文 参考訳(メタデータ) (2023-10-24T01:04:27Z) - From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳(メタデータ) (2023-05-31T23:39:18Z) - BLIP-Diffusion: Pre-trained Subject Representation for Controllable
Text-to-Image Generation and Editing [73.74570290836152]
BLIP-Diffusionはマルチモーダル制御をサポートする新しい主観駆動画像生成モデルである。
他の主観駆動生成モデルとは異なり、BLIP-Diffusionは主観表現を提供するために事前訓練された新しいマルチモーダルエンコーダを導入する。
論文 参考訳(メタデータ) (2023-05-24T04:51:04Z) - Instruction-ViT: Multi-Modal Prompts for Instruction Learning in ViT [58.70209492842953]
本稿では、画像分類のための視覚変換器モデルに命令調律に基づく即時設計を適用することに焦点を当てる。
鍵となる考え方は、カテゴリ情報に関連するマルチモーダルプロンプトを実装し、モデルの微調整を導くことである。
いくつかの画像キャプションタスクの実験に基づいて、性能とドメイン適応性を改善した。
論文 参考訳(メタデータ) (2023-04-29T08:59:12Z) - GUILGET: GUI Layout GEneration with Transformer [26.457270239234383]
目標は、現実的で多様なGUIレイアウトを生成することで、GUI設計の最初のステップをサポートすることである。
GUILGETは、GUI-AGの要素間の関係のセマンティクスをキャプチャするために、トランスフォーマーに基づいている。
CLAYデータセットを用いて実験を行った結果,GUI-AGから関係を最もよく理解したモデルであることが判明した。
論文 参考訳(メタデータ) (2023-04-18T14:27:34Z) - LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [81.5482196644596]
グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。
しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。
ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
論文 参考訳(メタデータ) (2022-12-19T21:57:35Z) - UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box
Attention [7.614630088064978]
画像(基本的な形状や視覚要素)と同じ意味を持つテキスト層を自動的に検出する視覚ベースの手法を提案する。
トレーニングとテストのための大規模なUIデータセットを構築し,検出性能を高めるためのデータ拡張アプローチを提案する。
論文 参考訳(メタデータ) (2022-12-07T03:50:20Z) - VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。
このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2021-02-10T01:46:33Z) - GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial
Networks [0.0]
GUI設計を自動生成するモデルGUIGANを開発した。
私たちのモデルは、Frechet Inception distance (FID) の30.77%、および1-Nearest Neighbor Accuracy (1-NNA) の12.35%のベースライン法を著しく上回る。
論文 参考訳(メタデータ) (2021-01-25T09:42:58Z) - Object Detection for Graphical User Interface: Old Fashioned or Deep
Learning or a Combination? [21.91118062303175]
我々は,50k以上のGUI画像上で7つの代表的GUI要素検出手法について,大規模な実証的研究を行った。
本研究は、解決すべき技術的課題に光を当て、新しいGUI要素検出手法の設計について報告する。
25,000個のGUI画像に対する評価は,GUI要素検出における最先端性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2020-08-12T06:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。