論文の概要: ULDGNN: A Fragmented UI Layer Detector Based on Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2208.06658v1
- Date: Sat, 13 Aug 2022 14:14:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 13:02:52.817536
- Title: ULDGNN: A Fragmented UI Layer Detector Based on Graph Neural Networks
- Title(参考訳): ULDGNN: グラフニューラルネットワークに基づくフラグメンテーションUI層検出器
- Authors: Jiazhi Li, Tingting Zhou, Yunnong Chen, Yanfang Chang, Yankun Zhen,
Lingyun Sun and Liuqing Chen
- Abstract要約: 断片化されたレイヤは、すべてのレイヤがコード生成に関与している場合、コード全体をマージすることなく、コード品質を劣化させる可能性がある。
本稿では,フラグメント層を自動的にマージするパイプラインを提案する。
提案手法では,UI設計ドラフトの断片化レイヤの大部分を抽出し,検出タスクにおいて87%の精度を達成できる。
- 参考スコア(独自算出の注目度): 7.614630088064978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While some work attempt to generate front-end code intelligently from UI
screenshots, it may be more convenient to utilize UI design drafts in Sketch
which is a popular UI design software, because we can access multimodal UI
information directly such as layers type, position, size, and visual images.
However, fragmented layers could degrade the code quality without being merged
into a whole part if all of them are involved in the code generation. In this
paper, we propose a pipeline to merge fragmented layers automatically. We first
construct a graph representation for the layer tree of a UI draft and detect
all fragmented layers based on the visual features and graph neural networks.
Then a rule-based algorithm is designed to merge fragmented layers. Through
experiments on a newly constructed dataset, our approach can retrieve most
fragmented layers in UI design drafts, and achieve 87% accuracy in the
detection task, and the post-processing algorithm is developed to cluster
associative layers under simple and general circumstances.
- Abstract(参考訳): UIスクリーンショットからフロントエンドコードをインテリジェントに生成しようとする作業もあるが、レイヤタイプ、位置、サイズ、ビジュアルイメージなどのマルチモーダルUI情報に直接アクセスできるため、人気のあるUIデザインソフトウェアであるSketchでUI設計ドラフトを利用する方が便利かもしれない。
しかし、断片化されたレイヤは、コード生成に関わるすべてのレイヤをマージすることなく、コード品質を低下させる可能性がある。
本稿では,フラグメント層を自動的にマージするパイプラインを提案する。
まず、UIドラフトのレイヤツリーのグラフ表現を構築し、視覚的特徴とグラフニューラルネットワークに基づいて、すべてのフラグメント層を検出する。
次に、フラグメント層をマージするようにルールベースのアルゴリズムが設計される。
提案手法は,新たに構築したデータセットを用いて,UI設計ドラフトのフラグメント層の大部分を抽出し,検出作業において87%の精度を実現し,その後処理アルゴリズムにより,単純で一般的な状況下でアソシエイト層をクラスタリングする。
関連論文リスト
- UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box
Attention [7.614630088064978]
画像(基本的な形状や視覚要素)と同じ意味を持つテキスト層を自動的に検出する視覚ベースの手法を提案する。
トレーニングとテストのための大規模なUIデータセットを構築し,検出性能を高めるためのデータ拡張アプローチを提案する。
論文 参考訳(メタデータ) (2022-12-07T03:50:20Z) - Occlusion-Aware Instance Segmentation via BiLayer Network Architectures [73.45922226843435]
本稿では,2層畳み込みネットワーク(BCNet)を提案する。このネットワークでは,トップ層がオブジェクト(オブオーバ)を検出し,ボトム層が部分的にオブオーバドされたインスタンス(オブオーバド)を推測する。
一般的な畳み込みネットワーク設計,すなわちFCN(Fully Convolutional Network)とGCN(Graph Convolutional Network)を用いた2層構造の有効性について検討する。
論文 参考訳(メタデータ) (2022-08-08T21:39:26Z) - UI Layers Merger: Merging UI layers via Visual Learning and Boundary
Prior [7.251022347055101]
フラグメントされたレイヤはUI設計ドラフトに必然的に現れ、コード生成の品質を大幅に低下させます。
視覚に基づく手法であるUI Layers Merger(UILM)を提案し、フラグメントされたレイヤを自動的に検出し、UIコンポーネントにマージする。
論文 参考訳(メタデータ) (2022-06-18T16:09:28Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - Representative Graph Neural Network [113.67254049938629]
いくつかの代表的特徴を動的にサンプリングするために、代表グラフ層を提示する。
すべての位置からメッセージを伝搬する代わりに、RepGraphレイヤは1つのノードの応答を数個の代表ノードで計算します。
論文 参考訳(メタデータ) (2020-08-12T09:46:52Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳(メタデータ) (2020-08-04T05:41:29Z) - Medical Image Segmentation Using a U-Net type of Architecture [0.0]
我々は、U-Netのアーキテクチャとボトルネック層における教師付きトレーニング戦略を組み合わせることで、元のU-Netアーキテクチャと同等の結果が得られると論じる。
我々は,U-Netのエンコーダブランチのボトルネックに対して,完全に教師付きFC層に基づくピクセルワイズロスを導入する。
2層ベースのFCサブネットは、より多くのセマンティック情報を含むようにボトルネック表現をトレーニングし、デコーダ層が最終的なセグメンテーションマップを予測するために使用する。
論文 参考訳(メタデータ) (2020-05-11T16:10:18Z) - Dense Residual Network: Enhancing Global Dense Feature Flow for
Character Recognition [75.4027660840568]
本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。
技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
論文 参考訳(メタデータ) (2020-01-23T06:55:08Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳(メタデータ) (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。