論文の概要: GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial
Networks
- arxiv url: http://arxiv.org/abs/2101.09978v2
- Date: Wed, 27 Jan 2021 04:42:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 19:13:38.243515
- Title: GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial
Networks
- Title(参考訳): guigan: 生成型adversarial networkを用いたguiデザイン生成の学習
- Authors: Tianming Zhao (1), Chunyang Chen (2), Yuanning Liu (1), Xiaodong Zhu
(1) ((1) Jilin University, (2) Monash University)
- Abstract要約: GUI設計を自動生成するモデルGUIGANを開発した。
私たちのモデルは、Frechet Inception distance (FID) の30.77%、および1-Nearest Neighbor Accuracy (1-NNA) の12.35%のベースライン法を著しく上回る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical User Interface (GUI) is ubiquitous in almost all modern desktop
software, mobile applications, and online websites. A good GUI design is
crucial to the success of the software in the market, but designing a good GUI
which requires much innovation and creativity is difficult even to well-trained
designers. Besides, the requirement of the rapid development of GUI design also
aggravates designers' working load. So, the availability of various automated
generated GUIs can help enhance the design personalization and specialization
as they can cater to the taste of different designers. To assist designers, we
develop a model GUIGAN to automatically generate GUI designs. Different from
conventional image generation models based on image pixels, our GUIGAN is to
reuse GUI components collected from existing mobile app GUIs for composing a
new design that is similar to natural-language generation. Our GUIGAN is based
on SeqGAN by modeling the GUI component style compatibility and GUI structure.
The evaluation demonstrates that our model significantly outperforms the best
of the baseline methods by 30.77% in Frechet Inception distance (FID) and
12.35% in 1-Nearest Neighbor Accuracy (1-NNA). Through a pilot user study, we
provide initial evidence of the usefulness of our approach for generating
acceptable brand new GUI designs.
- Abstract(参考訳): Graphical User Interface (GUI) はほとんどのモダンなデスクトップソフトウェア、モバイルアプリケーション、オンラインウェブサイトで広く使われている。
優れたGUI設計は、市場でのソフトウェアの成功に不可欠であるが、優れたGUIを設計するには、多くの革新と創造性を必要とする。
その上、GUI設計の急速な開発の条件はまたデザイナーの作業負荷を悪化させます。
そのため、様々な自動生成GUIが利用可能となり、デザイナーの好みに合わせてデザインのパーソナライズと特殊化が促進される。
設計者を支援するため,GUIGANを自動生成するモデルを開発した。
画像画素に基づく従来の画像生成モデルとは違って,既存のモバイルアプリguiから収集したguiコンポーネントを再利用し,自然言語生成に類似した新たなデザインを作成する。
当社のGUIGANは,GUIコンポーネントスタイルの互換性とGUI構造をモデル化することによって,SeqGANをベースとしています。
評価の結果,本モデルはフレシェインセプション距離 (fid) で30.77%, ネアレスト近傍精度 (1-nna) で12.35%, ベースライン法で有意に優れていた。
パイロットユーザースタディを通じて、受諾可能な新しいGUIデザインを作成するためのアプローチの有用性の最初の証拠を提供します。
関連論文リスト
- Comprehensive Cognitive LLM Agent for Smartphone GUI Automation [69.32269322774543]
大規模言語モデル(LLM)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
我々は、包括的環境認識(CEP)と条件付き行動予測(CAP)という2つの新しいアプローチで、包括的包括的アンダーラインAgent(CoCo-Agent)を提案する。
本稿では, AITW と META-GUI ベンチマークにおいて, 現実的なシナリオにおいて有望な性能を示す新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-19T08:29:03Z) - SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳(メタデータ) (2024-01-17T08:10:35Z) - Boosting GUI Prototyping with Diffusion Models [0.440401067183266]
Stable Diffusionのようなディープラーニングモデルは、強力なテキスト・ツー・イメージツールとして登場した。
安定拡散を利用してモバイルUIを生成するアプローチであるUI-Diffuserを提案する。
予備的な結果は、UI-DiffuserがモバイルGUI設計を生成するための効率的でコスト効率の良い方法を提供することを示している。
論文 参考訳(メタデータ) (2023-06-09T20:08:46Z) - From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳(メタデータ) (2023-05-31T23:39:18Z) - GUILGET: GUI Layout GEneration with Transformer [26.457270239234383]
目標は、現実的で多様なGUIレイアウトを生成することで、GUI設計の最初のステップをサポートすることである。
GUILGETは、GUI-AGの要素間の関係のセマンティクスをキャプチャするために、トランスフォーマーに基づいている。
CLAYデータセットを用いて実験を行った結果,GUI-AGから関係を最もよく理解したモデルであることが判明した。
論文 参考訳(メタデータ) (2023-04-18T14:27:34Z) - LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [81.5482196644596]
グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。
しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。
ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
論文 参考訳(メタデータ) (2022-12-19T21:57:35Z) - Efficient Automatic Machine Learning via Design Graphs [72.85976749396745]
最適なモデル設計を探索する効率的なサンプルベース手法であるFALCONを提案する。
FALCONは,1)グラフニューラルネットワーク(GNN)を介してデザイングラフ上でメッセージパッシングを行うタスク非依存モジュール,2)既知のモデル性能情報のラベル伝搬を行うタスク固有モジュールを特徴とする。
FALCONは,30個の探索ノードのみを用いて,各タスクに対して良好な性能を持つ設計を効率的に得ることを実証的に示す。
論文 参考訳(メタデータ) (2022-10-21T21:25:59Z) - Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of
GUI Widgets from GUI Images [21.498096538797952]
本稿では,GUIウィジェットの知覚群を推定するための教師なし画像ベース手法を提案する。
772個のモバイルアプリと20個のUIデザインモックアップから収集した1,091個のGUIのデータセットによる評価は、我々の手法が最先端のアドホックベースのベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2022-06-15T05:16:03Z) - Infographics Wizard: Flexible Infographics Authoring and Design
Exploration [48.93421725740813]
インフォグラフィック(英: Infographics)は、人間の知覚の特定の設計原則に従って情報を表現する美的な視覚表現である。
汎用構造およびフローベースインフォグラフィック設計生成のための半自動インフォグラフィックフレームワークを提案する。
初期設計者に対しては,設計入力を必要とせずに,ユーザが提供するテキストのインフォグラフィックデザインを自動的に作成・ランク付けする。
この作業では、個別の視覚グループ(VG)設計データセット(SVG)と、セグメント化されたVGを備えた1kの完全なインフォグラフィックイメージデータセットもコントリビュートする。
論文 参考訳(メタデータ) (2022-04-21T06:26:06Z) - VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。
このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2021-02-10T01:46:33Z) - Object Detection for Graphical User Interface: Old Fashioned or Deep
Learning or a Combination? [21.91118062303175]
我々は,50k以上のGUI画像上で7つの代表的GUI要素検出手法について,大規模な実証的研究を行った。
本研究は、解決すべき技術的課題に光を当て、新しいGUI要素検出手法の設計について報告する。
25,000個のGUI画像に対する評価は,GUI要素検出における最先端性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2020-08-12T06:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。