論文の概要: ULDGNN: A Fragmented UI Layer Detector Based on Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2208.06658v1
• Date: Sat, 13 Aug 2022 14:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:02:52.817536
• Title: ULDGNN: A Fragmented UI Layer Detector Based on Graph Neural Networks
• Title（参考訳）: ULDGNN: グラフニューラルネットワークに基づくフラグメンテーションUI層検出器
• Authors: Jiazhi Li, Tingting Zhou, Yunnong Chen, Yanfang Chang, Yankun Zhen, Lingyun Sun and Liuqing Chen
• Abstract要約: 断片化されたレイヤは、すべてのレイヤがコード生成に関与している場合、コード全体をマージすることなく、コード品質を劣化させる可能性がある。 本稿では,フラグメント層を自動的にマージするパイプラインを提案する。 提案手法では,UI設計ドラフトの断片化レイヤの大部分を抽出し,検出タスクにおいて87%の精度を達成できる。
• 参考スコア（独自算出の注目度）: 7.614630088064978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While some work attempt to generate front-end code intelligently from UI screenshots, it may be more convenient to utilize UI design drafts in Sketch which is a popular UI design software, because we can access multimodal UI information directly such as layers type, position, size, and visual images. However, fragmented layers could degrade the code quality without being merged into a whole part if all of them are involved in the code generation. In this paper, we propose a pipeline to merge fragmented layers automatically. We first construct a graph representation for the layer tree of a UI draft and detect all fragmented layers based on the visual features and graph neural networks. Then a rule-based algorithm is designed to merge fragmented layers. Through experiments on a newly constructed dataset, our approach can retrieve most fragmented layers in UI design drafts, and achieve 87% accuracy in the detection task, and the post-processing algorithm is developed to cluster associative layers under simple and general circumstances.
• Abstract（参考訳）: UIスクリーンショットからフロントエンドコードをインテリジェントに生成しようとする作業もあるが、レイヤタイプ、位置、サイズ、ビジュアルイメージなどのマルチモーダルUI情報に直接アクセスできるため、人気のあるUIデザインソフトウェアであるSketchでUI設計ドラフトを利用する方が便利かもしれない。 しかし、断片化されたレイヤは、コード生成に関わるすべてのレイヤをマージすることなく、コード品質を低下させる可能性がある。 本稿では,フラグメント層を自動的にマージするパイプラインを提案する。 まず、UIドラフトのレイヤツリーのグラフ表現を構築し、視覚的特徴とグラフニューラルネットワークに基づいて、すべてのフラグメント層を検出する。 次に、フラグメント層をマージするようにルールベースのアルゴリズムが設計される。 提案手法は,新たに構築したデータセットを用いて,UI設計ドラフトのフラグメント層の大部分を抽出し,検出作業において87%の精度を実現し,その後処理アルゴリズムにより,単純で一般的な状況下でアソシエイト層をクラスタリングする。

関連論文リスト

• Hierarchical Graph Interaction Transformer with Dynamic Token Clustering for Camouflaged Object Detection [57.883265488038134]
  本稿では,HGINetと呼ばれる階層的なグラフ相互作用ネットワークを提案する。 このネットワークは、階層的トークン化機能間の効果的なグラフ相互作用を通じて、知覚不能なオブジェクトを発見することができる。 本実験は,既存の最先端手法と比較して,HGINetの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-08-27T12:53:25Z)
• LayerDiff: Exploring Text-guided Multi-layered Composable Image Synthesis via Layer-Collaborative Diffusion Model [70.14953942532621]
  層共同拡散モデルであるLayerDiffは、テキスト誘導、多層化、構成可能な画像合成のために設計されている。 本モデルでは,従来の全画像生成手法に匹敵する性能で,高品質な多層画像を生成することができる。 LayerDiffは、レイヤ固有の画像編集やスタイル転送など、幅広いコントロール可能な生成アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2024-03-18T16:28:28Z)
• Computer User Interface Understanding. A New Dataset and a Learning Framework [2.4473568032515147]
  コンピュータUI理解の難しい課題を紹介します。 ユーザがアクションのシーケンスを実行しているビデオのセットでデータセットを提示し、各画像はその時点のデスクトップコンテンツを表示する。 また,データセットに関連する特徴を付加する合成サンプル生成パイプラインを構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-15T10:26:52Z)
• UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box Attention [7.614630088064978]
  画像(基本的な形状や視覚要素)と同じ意味を持つテキスト層を自動的に検出する視覚ベースの手法を提案する。 トレーニングとテストのための大規模なUIデータセットを構築し,検出性能を高めるためのデータ拡張アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-07T03:50:20Z)
• Occlusion-Aware Instance Segmentation via BiLayer Network Architectures [73.45922226843435]
  本稿では,2層畳み込みネットワーク(BCNet)を提案する。このネットワークでは,トップ層がオブジェクト(オブオーバ)を検出し,ボトム層が部分的にオブオーバドされたインスタンス(オブオーバド)を推測する。 一般的な畳み込みネットワーク設計,すなわちFCN(Fully Convolutional Network)とGCN(Graph Convolutional Network)を用いた2層構造の有効性について検討する。
  論文  参考訳（メタデータ） (2022-08-08T21:39:26Z)
• UI Layers Merger: Merging UI layers via Visual Learning and Boundary Prior [7.251022347055101]
  フラグメントされたレイヤはUI設計ドラフトに必然的に現れ、コード生成の品質を大幅に低下させます。 視覚に基づく手法であるUI Layers Merger(UILM)を提案し、フラグメントされたレイヤを自動的に検出し、UIコンポーネントにマージする。
  論文  参考訳（メタデータ） (2022-06-18T16:09:28Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Representative Graph Neural Network [113.67254049938629]
  いくつかの代表的特徴を動的にサンプリングするために、代表グラフ層を提示する。 すべての位置からメッセージを伝搬する代わりに、RepGraphレイヤは1つのノードの応答を数個の代表ノードで計算します。
  論文  参考訳（メタデータ） (2020-08-12T09:46:52Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。