論文の概要: Auto Completion of User Interface Layout Design Using Transformer-Based Tree Decoders

• arxiv url: http://arxiv.org/abs/2001.05308v1
• Date: Tue, 14 Jan 2020 17:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 12:15:40.217276
• Title: Auto Completion of User Interface Layout Design Using Transformer-Based Tree Decoders
• Title（参考訳）: トランスフォーマベースツリーデコーダを用いたユーザインタフェースレイアウト設計の自動補完
• Authors: Yang Li, Julien Amelot, Xin Zhou, Samy Bengio, Si Si
• Abstract要約: 我々のモデルは、階層構造だけでなく、適切な位置と寸法で残りのUI要素を予測することでレイアウトを完成させることを学びます。 インターフェースレイアウトの予測に着目する一方で,木構造や2次元配置を含む他のレイアウト予測問題にも適用可能である。
• 参考スコア（独自算出の注目度）: 25.841074885335583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been of increasing interest in the field to develop automatic machineries to facilitate the design process. In this paper, we focus on assisting graphical user interface (UI) layout design, a crucial task in app development. Given a partial layout, which a designer has entered, our model learns to complete the layout by predicting the remaining UI elements with a correct position and dimension as well as the hierarchical structures. Such automation will significantly ease the effort of UI designers and developers. While we focus on interface layout prediction, our model can be generally applicable for other layout prediction problems that involve tree structures and 2-dimensional placements. Particularly, we design two versions of Transformer-based tree decoders: Pointer and Recursive Transformer, and experiment with these models on a public dataset. We also propose several metrics for measuring the accuracy of tree prediction and ground these metrics in the domain of user experience. These contribute a new task and methods to deep learning research.
• Abstract（参考訳）: 設計プロセスを容易にする自動機械の開発は、この分野の関心が高まっている。 本稿では,アプリケーション開発において重要な課題であるグラフィカルユーザインタフェース(UI)レイアウト設計の支援に焦点をあてる。 設計者が入力した部分的なレイアウトが与えられた場合、モデルでは、残りのUI要素を正しい位置と寸法と階層構造で予測することでレイアウトを完成させることを学びます。 このような自動化は、uiデザイナーと開発者の労力を大幅に軽減します。 インターフェースレイアウトの予測に着目する一方で,木構造や2次元配置を含む他のレイアウト予測問題にも適用可能である。 特に、TransformerベースのツリーデコーダであるPointerとRecursive Transformerの2つのバージョンを設計し、これらのモデルをパブリックデータセット上で実験する。 また,木木予測の精度を測定し,これらの指標をユーザエクスペリエンスの領域でグラウンド化する指標を提案する。 これらは深層学習研究に新たな課題と方法をもたらす。

関連論文リスト

• GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts [53.568057283934714]
  コンテンツ対応のテキストロゴレイアウトを生成するVLMベースのフレームワークを提案する。 本稿では,複数のグリフ画像の同時処理における計算量を削減するための2つのモデル手法を提案する。 アウトモデルのインストラクションチューニングを支援するために,既存の公開データセットよりも5倍大きい2つの拡張テキストロゴデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-18T10:04:10Z)
• Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
  初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。 我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。 UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
  論文  参考訳（メタデータ） (2024-10-21T17:39:49Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は、大規模な実験を行い、パブリックなマルチモーダルレイアウト生成ベンチマーク上で、最先端(SOTA)性能を達成した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Prototype2Code: End-to-end Front-end Code Generation from UI Design Prototypes [13.005027924553012]
  ビジネスニーズでエンドツーエンドのフロントエンドコード生成を実現するPrototype2Codeを紹介します。 Prototype2Codeでは、設計リンティングをワークフローに組み込んで、断片化された要素や知覚グループの検出に対処する。 階層構造を最適化し、UI要素の型をインテリジェントに認識することで、Prototype2Codeはより読みやすく構造的にクリアなコードを生成する。
  論文  参考訳（メタデータ） (2024-05-08T11:32:50Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• PLay: Parametrically Conditioned Layout Generation using Latent Diffusion [18.130461065261354]
  本研究では,ベクトル図形空間におけるパラメトリック条件付きレイアウトを生成する条件付き潜時拡散モデルPLayを構築した。 提案手法は,FIDやFD-VGを含む3つのデータセットにおいて,従来よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-01-27T04:22:27Z)
• LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
  グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。 しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。 ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
  論文  参考訳（メタデータ） (2022-12-19T21:57:35Z)
• VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
  本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。 このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-02-10T01:46:33Z)
• GRIDS: Interactive Layout Design with Integer Programming [25.88822318048848]
  本稿では,グリッドベースのレイアウト生成のための新しい最適化手法を提案する。 我々の混合整数線形プログラミング(MILP)モデルは、厳密で効率的なグリッド生成方法を提供する。 グリッドレイアウトのインタラクティブな多様化,拡張,完成のための技術を提案する。
  論文  参考訳（メタデータ） (2020-01-09T11:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。