論文の概要: GUILGET: GUI Layout GEneration with Transformer
- arxiv url: http://arxiv.org/abs/2304.09012v1
- Date: Tue, 18 Apr 2023 14:27:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 14:33:37.847277
- Title: GUILGET: GUI Layout GEneration with Transformer
- Title（参考訳）: GUILGET: Transformerを使ったGUIレイアウトGEneration
- Authors: Andrey Sobolevsky, Guillaume-Alexandre Bilodeau, Jinghui Cheng, Jin
L.C. Guo
- Abstract要約: 目標は、現実的で多様なGUIレイアウトを生成することで、GUI設計の最初のステップをサポートすることである。
GUILGETは、GUI-AGの要素間の関係のセマンティクスをキャプチャするために、トランスフォーマーに基づいている。
CLAYデータセットを用いて実験を行った結果,GUI-AGから関係を最もよく理解したモデルであることが判明した。
- 参考スコア（独自算出の注目度）: 26.457270239234383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sketching out Graphical User Interface (GUI) layout is part of the pipeline
of designing a GUI and a crucial task for the success of a software
application. Arranging all components inside a GUI layout manually is a
time-consuming task. In order to assist designers, we developed a method named
GUILGET to automatically generate GUI layouts from positional constraints
represented as GUI arrangement graphs (GUI-AGs). The goal is to support the
initial step of GUI design by producing realistic and diverse GUI layouts. The
existing image layout generation techniques often cannot incorporate GUI design
constraints. Thus, GUILGET needs to adapt existing techniques to generate GUI
layouts that obey to constraints specific to GUI designs. GUILGET is based on
transformers in order to capture the semantic in relationships between elements
from GUI-AG. Moreover, the model learns constraints through the minimization of
losses responsible for placing each component inside its parent layout, for not
letting components overlap if they are inside the same parent, and for
component alignment. Our experiments, which are conducted on the CLAY dataset,
reveal that our model has the best understanding of relationships from GUI-AG
and has the best performances in most of evaluation metrics. Therefore, our
work contributes to improved GUI layout generation by proposing a novel method
that effectively accounts for the constraints on GUI elements and paves the
road for a more efficient GUI design pipeline.
- Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)レイアウトのスケッチアウトは、GUIを設計するパイプラインの一部であり、ソフトウェアアプリケーションの成功にとって重要なタスクである。
GUIレイアウト内のすべてのコンポーネントを手動でアレンジするのは、時間を要する作業です。
そこで我々はGUI配置グラフ(GUI-AG)として表される位置制約からGUIレイアウトを自動的に生成するGUILGETという手法を開発した。
目標は、現実的で多様なGUIレイアウトを生成することで、GUI設計の最初のステップをサポートすることである。
既存の画像レイアウト生成技術はGUI設計の制約を組み込むことができないことが多い。
したがって、GUILGETはGUI設計固有の制約に従うGUIレイアウトを生成するために既存の技術を適用する必要がある。
GUILGETは、GUI-AGの要素間の関係における意味を捉えるために、トランスフォーマーに基づいている。
さらに、モデルは、各コンポーネントを親レイアウト内に配置する責任を負う損失の最小化を通じて制約を学習し、同じ親レイアウト内にあるコンポーネントとコンポーネントアライメントが重複しないようにする。
CLAYデータセットを用いて実験を行った結果,GUI-AGの関係を最もよく理解し,ほとんどの評価指標で最高の性能を示した。
そこで本研究では,GUI要素の制約を効果的に考慮し,より効率的なGUI設計パイプラインを実現する新しい手法を提案することにより,GUIレイアウト生成の改善に寄与する。
関連論文リスト
- GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
MLLMをベースとした自律エージェントGUI-Beeを提案する。
NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
論文 参考訳（メタデータ） (2025-01-23T18:16:21Z) - Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。
また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。
UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
論文 参考訳（メタデータ） (2024-12-15T22:17:30Z) - Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。
Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。
我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
論文 参考訳（メタデータ） (2024-12-12T15:29:36Z) - GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。
まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。
次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
論文 参考訳（メタデータ） (2024-06-17T08:30:55Z) - GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。
各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
論文 参考訳（メタデータ） (2024-06-16T06:56:53Z) - Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach [55.762798168494726]
グラフィカルユーザインタフェース(GUI)のプロトタイプにおいて,機能的NLベースの要求の実装を検証するための新しい言語モデル(LLM)ベースのアプローチを提案する。
提案手法は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することを目的としている。
論文 参考訳（メタデータ） (2024-06-12T11:59:26Z) - Graph4GUI: Graph Neural Networks for Representing Graphical User Interfaces [27.84098739594353]
Graph4GUIはグラフニューラルネットワークを利用して、個々の要素の特性とセマンティックな空間的制約をレイアウトでキャプチャする。
学習された表現は、その効果を複数のタスクで示し、特に挑戦的なGUIオートコンプリートタスクで設計を生成する。
論文 参考訳（メタデータ） (2024-04-21T04:06:09Z) - SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳（メタデータ） (2024-01-17T08:10:35Z) - Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of
GUI Widgets from GUI Images [21.498096538797952]
本稿では,GUIウィジェットの知覚群を推定するための教師なし画像ベース手法を提案する。
772個のモバイルアプリと20個のUIデザインモックアップから収集した1,091個のGUIのデータセットによる評価は、我々の手法が最先端のアドホックベースのベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2022-06-15T05:16:03Z) - GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial
Networks [0.0]
GUI設計を自動生成するモデルGUIGANを開発した。
私たちのモデルは、Frechet Inception distance (FID) の30.77%、および1-Nearest Neighbor Accuracy (1-NNA) の12.35%のベースライン法を著しく上回る。
論文 参考訳（メタデータ） (2021-01-25T09:42:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。