論文の概要: UI Layers Merger: Merging UI layers via Visual Learning and Boundary Prior

• arxiv url: http://arxiv.org/abs/2206.13389v1
• Date: Sat, 18 Jun 2022 16:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 01:19:16.335885
• Title: UI Layers Merger: Merging UI layers via Visual Learning and Boundary Prior
• Title（参考訳）: UIレイヤのマージ: ビジュアルラーニングと境界優先によるUIレイヤのマージ
• Authors: Yun-nong Chen, Yan-kun Zhen, Chu-ning Shi, Jia-zhi Li, Ting-ting Zhou, Yan-fang Chang, Ling-yun Sun, Liu-qing Chen
• Abstract要約: フラグメントされたレイヤはUI設計ドラフトに必然的に現れ、コード生成の品質を大幅に低下させます。 視覚に基づく手法であるUI Layers Merger(UILM)を提案し、フラグメントされたレイヤを自動的に検出し、UIコンポーネントにマージする。
• 参考スコア（独自算出の注目度）: 7.251022347055101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the fast-growing GUI development workload in the Internet industry, some work on intelligent methods attempted to generate maintainable front-end code from UI screenshots. It can be more suitable for utilizing UI design drafts that contain UI metadata. However, fragmented layers inevitably appear in the UI design drafts which greatly reduces the quality of code generation. None of the existing GUI automated techniques detects and merges the fragmented layers to improve the accessibility of generated code. In this paper, we propose UI Layers Merger (UILM), a vision-based method, which can automatically detect and merge fragmented layers into UI components. Our UILM contains Merging Area Detector (MAD) and a layers merging algorithm. MAD incorporates the boundary prior knowledge to accurately detect the boundaries of UI components. Then, the layers merging algorithm can search out the associated layers within the components' boundaries and merge them into a whole part. We present a dynamic data augmentation approach to boost the performance of MAD. We also construct a large-scale UI dataset for training the MAD and testing the performance of UILM. The experiment shows that the proposed method outperforms the best baseline regarding merging area detection and achieves a decent accuracy regarding layers merging.
• Abstract（参考訳）: インターネット産業におけるGUI開発ワークロードの急速な増加に伴い、インテリジェントなメソッドの研究は、UIスクリーンショットから保守可能なフロントエンドコードの生成を試みた。 UIメタデータを含むUIデザインドラフトを利用するのにもっと適しています。 しかし、フラグメントされたレイヤがUI設計ドラフトに必然的に現れ、コード生成の質が大幅に低下します。 既存のGUI自動化技術はどれも、生成されたコードのアクセシビリティを改善するために断片化されたレイヤを検出し、マージするものではない。 本稿では,フラグメント層を自動的に検出し,uiコンポーネントにマージするビジョンベース手法 ui layers merge (uilm) を提案する。 我々のUILMには、マージングエリア検出器(MAD)とレイヤーマージングアルゴリズムが含まれている。 MADはUIコンポーネントの境界を正確に検出するための事前知識を組み込んでいる。 次に、マージアルゴリズムは、コンポーネント境界内の関連するレイヤを検索し、それらを全部にマージすることができる。 我々は,MADの性能向上を目的とした動的データ拡張手法を提案する。 また、MADをトレーニングし、UILMの性能をテストするための大規模なUIデータセットを構築した。 実験により,提案手法は領域検出における最良ベースラインを上回っており,層合併に関する精度が良好であることを示す。

関連論文リスト

• A Rule-Based Approach for UI Migration from Android to iOS [11.229343760409044]
  既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。 GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。 GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
  論文  参考訳（メタデータ） (2024-09-25T06:19:54Z)
• Hierarchical Graph Interaction Transformer with Dynamic Token Clustering for Camouflaged Object Detection [57.883265488038134]
  本稿では,HGINetと呼ばれる階層的なグラフ相互作用ネットワークを提案する。 このネットワークは、階層的トークン化機能間の効果的なグラフ相互作用を通じて、知覚不能なオブジェクトを発見することができる。 本実験は,既存の最先端手法と比較して,HGINetの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-08-27T12:53:25Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations [13.939350184164017]
  VLM(Multimodal Vision-Language Models)は、画像と言語を融合した理解から強力なアプリケーションを可能にする。 既存のピクセルベース手法とLarge Language Model(LLM)を組み合わせることで、VLMのペアテキストイメージトレーニングデータを生成するためのレシピをUIドメインに適用する。 我々は、Q&A、UI記述、計画をカバーするUIと組み合わせた335Kの会話例のデータセットを生成し、UIタスクのための会話VLMを微調整するためにそれを使用します。
  論文  参考訳（メタデータ） (2023-10-07T16:32:34Z)
• UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box Attention [7.614630088064978]
  画像(基本的な形状や視覚要素)と同じ意味を持つテキスト層を自動的に検出する視覚ベースの手法を提案する。 トレーニングとテストのための大規模なUIデータセットを構築し,検出性能を高めるためのデータ拡張アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-07T03:50:20Z)
• ULDGNN: A Fragmented UI Layer Detector Based on Graph Neural Networks [7.614630088064978]
  断片化されたレイヤは、すべてのレイヤがコード生成に関与している場合、コード全体をマージすることなく、コード品質を劣化させる可能性がある。 本稿では,フラグメント層を自動的にマージするパイプラインを提案する。 提案手法では,UI設計ドラフトの断片化レイヤの大部分を抽出し,検出タスクにおいて87%の精度を達成できる。
  論文  参考訳（メタデータ） (2022-08-13T14:14:37Z)
• VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
  本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。 このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-02-10T01:46:33Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)
• Saliency Enhancement using Gradient Domain Edges Merging [65.90255950853674]
  本研究では,エッジとサリエンシマップをマージして,サリエンシマップの性能を向上させる手法を開発した。 これにより、DUT-OMRONデータセットの少なくとも3.4倍の平均的な改善により、エッジ(SEE)を使用したサリエンシ向上が提案された。 SEEアルゴリズムは前処理のためのSEE-Preと後処理のためのSEE-Postの2つの部分に分けられる。
  論文  参考訳（メタデータ） (2020-02-11T14:04:56Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。