論文の概要: Sketch2FullStack: Generating Skeleton Code of Full Stack Website and
Application from Sketch using Deep Learning and Computer Vision
- arxiv url: http://arxiv.org/abs/2211.14607v1
- Date: Sat, 26 Nov 2022 16:32:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 14:27:22.878743
- Title: Sketch2FullStack: Generating Skeleton Code of Full Stack Website and
Application from Sketch using Deep Learning and Computer Vision
- Title（参考訳）: Sketch2FullStack: フルスタックWebサイトのSkeletonコードの生成とディープラーニングとコンピュータビジョンを用いたSketchからのアプリケーション
- Authors: Somoy Subandhu Barua, Imam Mohammad Zulkarnain, Abhishek Roy, Md.
Golam Rabiul Alam, Md Zia Uddin
- Abstract要約: 大規模なWebサイトを設計し、それをコードに変換するには、経験豊富な開発者のチームが必要だ。
貴重なリソースを節約し、開発プロセス全体を短縮するでしょう。
- 参考スコア（独自算出の注目度）: 2.422788410602121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For a full-stack web or app development, it requires a software firm or more
specifically a team of experienced developers to contribute a large portion of
their time and resources to design the website and then convert it to code. As
a result, the efficiency of the development team is significantly reduced when
it comes to converting UI wireframes and database schemas into an actual
working system. It would save valuable resources and fasten the overall
workflow if the clients or developers can automate this process of converting
the pre-made full-stack website design to get a partially working if not fully
working code. In this paper, we present a novel approach of generating the
skeleton code from sketched images using Deep Learning and Computer Vision
approaches. The dataset for training are first-hand sketched images of low
fidelity wireframes, database schemas and class diagrams. The approach consists
of three parts. First, the front-end or UI elements detection and extraction
from custom-made UI wireframes. Second, individual database table creation from
schema designs and lastly, creating a class file from class diagrams.
- Abstract（参考訳）: フルスタックのwebサイトやアプリの開発には、ソフトウェア会社やより具体的には、経験豊富な開発者のチームがwebサイトの設計とコードへの変換のために、時間とリソースの大部分を貢献しなければならない。
その結果、uiワイヤフレームとデータベーススキーマを実際の作業システムに変換する場合、開発チームの効率は大幅に低下します。
クライアントや開発者がこのプロセスを自動化することで、ビルド済みのフルスタックのWebサイト設計を、完全な動作コードでなければ部分的に動作させることができます。
本稿では,Deep LearningとComputer Visionを用いたスケッチ画像からスケルトンコードを生成する手法を提案する。
トレーニング用のデータセットは、低忠実度ワイヤフレーム、データベーススキーマ、クラスダイアグラムのファーストハンドスケッチイメージである。
アプローチは3つの部分からなる。
まず、フロントエンドまたはUI要素がカスタムメイドのUIワイヤーフレームから検出および抽出する。
次に、スキーマ設計から個々のデータベーステーブルを作成し、最後にクラス図からクラスファイルを作成します。
関連論文リスト
- OneEncoder: A Lightweight Framework for Progressive Alignment of Modalities [0.08192907805418585]
クロスモーダルアライメント学習は、テキスト、画像、オーディオ、ビデオなどのさまざまなモダリティからの情報を統合して、統一されたモデルを作成する。
現在のテクニックは、大規模なモダリティ固有のエンコーダに依存しており、広範囲に整列したデータセット上で、スクラッチから微調整やトレーニングを必要とする。
OneEncoderは4つのモダリティを徐々に表現し調整する軽量フレームワークである。
論文 参考訳（メタデータ） (2024-09-17T10:38:46Z) - Automatically Generating UI Code from Screenshot: A Divide-and-Conquer-Based Approach [51.522121376987634]
ウェブページデザインのUIコードへの変換を自動化するための分割型アプローチであるDCGenを提案する。
DCGenはまず、スクリーンショットを管理可能なセグメントに分割し、各セグメントについて記述を生成し、その後、スクリーンショット全体のUIコードに再組み立てする。
実世界のWebサイトとさまざまなMLLMで構成されたデータセットを用いて広範囲なテストを行い、DCGenが競合するメソッドに比べて最大14%の視覚的類似性を実現していることを示す。
論文 参考訳（メタデータ） (2024-06-24T07:58:36Z) - VISION2UI: A Real-World Dataset with Layout for Code Generation from UI Designs [29.80918775422563]
実世界のシナリオから抽出し,包括的レイアウト情報を付加した新しいデータセットVISION2UIを提案する。
このデータセットは、オープンソースのCommon Crawlデータセットの収集、クリーニング、フィルタリングを含む一連の操作によって生成される。
最終的にこのプロセスは、デザインビジョンとUIコードを含む2,000の並列サンプルからなるデータセットを生成する。
論文 参考訳（メタデータ） (2024-04-09T15:05:48Z) - Knowledge Graph Generation From Text [18.989264255589806]
そこで本研究では,テキスト入力から新たなエンド・ツー・エンドの知識グラフ(KG)生成システムを提案する。
グラフノードは、まず事前訓練された言語モデルを用いて生成され、次に単純なエッジ構築ヘッドが続く。
我々は,最新のWebNLG 2020 Challengeデータセットを用いて,テキストからRDF生成タスクにおける最先端のパフォーマンスとを一致させたモデルの評価を行った。
論文 参考訳（メタデータ） (2022-11-18T21:27:13Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳（メタデータ） (2022-11-17T17:38:55Z) - Pix2Struct: Screenshot Parsing as Pretraining for Visual Language
Understanding [58.70423899829642]
Pix2Structは、純粋に視覚的な言語理解のための事前訓練された画像-テキストモデルである。
4つの領域にまたがる9つのタスクのうち6つのタスクにおいて、1つの事前訓練されたモデルが最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2022-10-07T06:42:06Z) - GROWN+UP: A Graph Representation Of a Webpage Network Utilizing
Pre-training [0.2538209532048866]
我々は、Webページ構造を取り込み、大量のラベル付きデータに基づいて事前訓練を行い、Webページ上の任意のタスクに効果的に微調整できる、非依存のディープグラフニューラルネットワーク特徴抽出器を導入する。
我々は,Webページボイラプレートの除去とジャンル分類という,非常に異なる2つのベンチマークで複数のデータセットを用いて,事前学習したモデルが最先端の結果を得ることを示す。
論文 参考訳（メタデータ） (2022-08-03T13:37:27Z) - Multi-Stage Progressive Image Restoration [167.6852235432918]
本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。
本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。
MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2021-02-04T18:57:07Z) - A Pipeline for Vision-Based On-Orbit Proximity Operations Using Deep
Learning and Synthetic Imagery [0.0]
現在、2つの重要な課題が、ビジョンベースの軌道近傍操作にディープラーニングを使用する際の大きな障壁となっている。
ラベル付きトレーニングデータの不足(ターゲット宇宙船のイメージ)は、堅牢なディープラーニングモデルの作成を妨げる。
本稿では、オンビットビジュアルナビゲーションアプリケーション用に特別に開発されたオープンソースのディープラーニングパイプラインについて述べる。
論文 参考訳（メタデータ） (2021-01-14T15:17:54Z) - Where2Act: From Pixels to Actions for Articulated 3D Objects [54.19638599501286]
可動部を有する関節物体の押出しや引抜き等の基本動作に関連する高度に局所化された動作可能な情報を抽出する。
シミュレーションでネットワークをトレーニングできるオンラインデータサンプリング戦略を備えた学習から対話までのフレームワークを提案します。
私たちの学習モデルは、現実世界のデータにも転送します。
論文 参考訳（メタデータ） (2021-01-07T18:56:38Z) - SketchyCOCO: Image Generation from Freehand Scene Sketches [71.85577739612579]
本稿では,シーンレベルのフリーハンドスケッチから画像の自動生成手法を提案する。
主要なコントリビューションは、EdgeGANと呼ばれる属性ベクトルをブリッジしたGeneversarative Adrial Networkである。
我々はSketchyCOCOと呼ばれる大規模複合データセットを構築し、ソリューションをサポートし評価した。
論文 参考訳（メタデータ） (2020-03-05T14:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。