論文の概要: UI Layers Merger: Merging UI layers via Visual Learning and Boundary
Prior
- arxiv url: http://arxiv.org/abs/2206.13389v1
- Date: Sat, 18 Jun 2022 16:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 01:19:16.335885
- Title: UI Layers Merger: Merging UI layers via Visual Learning and Boundary
Prior
- Title(参考訳): UIレイヤのマージ: ビジュアルラーニングと境界優先によるUIレイヤのマージ
- Authors: Yun-nong Chen, Yan-kun Zhen, Chu-ning Shi, Jia-zhi Li, Ting-ting Zhou,
Yan-fang Chang, Ling-yun Sun, Liu-qing Chen
- Abstract要約: フラグメントされたレイヤはUI設計ドラフトに必然的に現れ、コード生成の品質を大幅に低下させます。
視覚に基づく手法であるUI Layers Merger(UILM)を提案し、フラグメントされたレイヤを自動的に検出し、UIコンポーネントにマージする。
- 参考スコア(独自算出の注目度): 7.251022347055101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the fast-growing GUI development workload in the Internet industry, some
work on intelligent methods attempted to generate maintainable front-end code
from UI screenshots. It can be more suitable for utilizing UI design drafts
that contain UI metadata. However, fragmented layers inevitably appear in the
UI design drafts which greatly reduces the quality of code generation. None of
the existing GUI automated techniques detects and merges the fragmented layers
to improve the accessibility of generated code. In this paper, we propose UI
Layers Merger (UILM), a vision-based method, which can automatically detect and
merge fragmented layers into UI components. Our UILM contains Merging Area
Detector (MAD) and a layers merging algorithm. MAD incorporates the boundary
prior knowledge to accurately detect the boundaries of UI components. Then, the
layers merging algorithm can search out the associated layers within the
components' boundaries and merge them into a whole part. We present a dynamic
data augmentation approach to boost the performance of MAD. We also construct a
large-scale UI dataset for training the MAD and testing the performance of
UILM. The experiment shows that the proposed method outperforms the best
baseline regarding merging area detection and achieves a decent accuracy
regarding layers merging.
- Abstract(参考訳): インターネット産業におけるGUI開発ワークロードの急速な増加に伴い、インテリジェントなメソッドの研究は、UIスクリーンショットから保守可能なフロントエンドコードの生成を試みた。
UIメタデータを含むUIデザインドラフトを利用するのにもっと適しています。
しかし、フラグメントされたレイヤがUI設計ドラフトに必然的に現れ、コード生成の質が大幅に低下します。
既存のGUI自動化技術はどれも、生成されたコードのアクセシビリティを改善するために断片化されたレイヤを検出し、マージするものではない。
本稿では,フラグメント層を自動的に検出し,uiコンポーネントにマージするビジョンベース手法 ui layers merge (uilm) を提案する。
我々のUILMには、マージングエリア検出器(MAD)とレイヤーマージングアルゴリズムが含まれている。
MADはUIコンポーネントの境界を正確に検出するための事前知識を組み込んでいる。
次に、マージアルゴリズムは、コンポーネント境界内の関連するレイヤを検索し、それらを全部にマージすることができる。
我々は,MADの性能向上を目的とした動的データ拡張手法を提案する。
また、MADをトレーニングし、UILMの性能をテストするための大規模なUIデータセットを構築した。
実験により,提案手法は領域検出における最良ベースラインを上回っており,層合併に関する精度が良好であることを示す。
関連論文リスト
- ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine
Conversations [13.939350184164017]
VLM(Multimodal Vision-Language Models)は、画像と言語を融合した理解から強力なアプリケーションを可能にする。
既存のピクセルベース手法とLarge Language Model(LLM)を組み合わせることで、VLMのペアテキストイメージトレーニングデータを生成するためのレシピをUIドメインに適用する。
我々は、Q&A、UI記述、計画をカバーするUIと組み合わせた335Kの会話例のデータセットを生成し、UIタスクのための会話VLMを微調整するためにそれを使用します。
論文 参考訳(メタデータ) (2023-10-07T16:32:34Z) - Reinforced UI Instruction Grounding: Towards a Generic UI Task
Automation API [17.991044940694778]
汎用的なUIタスク自動化エグゼキュータとして、与えられたUIスクリーンショットに自然言語命令をベースとしたマルチモーダルモデルを構築します。
画像からテキストまでの事前学習知識の活用を容易にするため,画素からシーケンスまでのパラダイムを踏襲する。
提案する強化UI命令グラウンドモデルでは,最先端の手法よりも明確なマージンで性能が向上する。
論文 参考訳(メタデータ) (2023-10-07T07:22:41Z) - Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳(メタデータ) (2023-06-20T03:00:22Z) - UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box
Attention [7.614630088064978]
画像(基本的な形状や視覚要素)と同じ意味を持つテキスト層を自動的に検出する視覚ベースの手法を提案する。
トレーニングとテストのための大規模なUIデータセットを構築し,検出性能を高めるためのデータ拡張アプローチを提案する。
論文 参考訳(メタデータ) (2022-12-07T03:50:20Z) - GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。
我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。
提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文 参考訳(メタデータ) (2022-12-06T14:32:55Z) - ULDGNN: A Fragmented UI Layer Detector Based on Graph Neural Networks [7.614630088064978]
断片化されたレイヤは、すべてのレイヤがコード生成に関与している場合、コード全体をマージすることなく、コード品質を劣化させる可能性がある。
本稿では,フラグメント層を自動的にマージするパイプラインを提案する。
提案手法では,UI設計ドラフトの断片化レイヤの大部分を抽出し,検出タスクにおいて87%の精度を達成できる。
論文 参考訳(メタデータ) (2022-08-13T14:14:37Z) - VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。
このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2021-02-10T01:46:33Z) - Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。
本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-23T04:33:36Z) - Saliency Enhancement using Gradient Domain Edges Merging [65.90255950853674]
本研究では,エッジとサリエンシマップをマージして,サリエンシマップの性能を向上させる手法を開発した。
これにより、DUT-OMRONデータセットの少なくとも3.4倍の平均的な改善により、エッジ(SEE)を使用したサリエンシ向上が提案された。
SEEアルゴリズムは前処理のためのSEE-Preと後処理のためのSEE-Postの2つの部分に分けられる。
論文 参考訳(メタデータ) (2020-02-11T14:04:56Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳(メタデータ) (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。