論文の概要: Automatically Generating Codes from Graphical Screenshots Based on Deep Autocoder

• arxiv url: http://arxiv.org/abs/2007.02272v1
• Date: Sun, 5 Jul 2020 09:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 07:54:04.083341
• Title: Automatically Generating Codes from Graphical Screenshots Based on Deep Autocoder
• Title（参考訳）: deep autocoderに基づくグラフィカルなスクリーンショットからのコードの自動生成
• Authors: Xiaoling Huang and Feng Liao
• Abstract要約: 人工的な注意機構に基づくPixCoderを提案する。 アプローチとしては、ニューラルネットワークをトレーニングして、入力されたGUIイメージのスタイルシートを予測し、ベクトルを出力する。 実験の結果、PixCoderが生成したGUIコードの精度は95%以上であることがわかった。
• 参考スコア（独自算出の注目度）: 2.2164008235212425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During software front-end development, the work to convert Graphical User Interface(GUI) image to the corresponding front-end code is an inevitable tedious work. There have been some attempts to make this work to be automatic. However, the GUI code generated by these models is not accurate due to the lack of attention mechanism guidance. To solve this problem, we propose PixCoder based on an artificially supervised attention mechanism. The approach is to train a neural network to predict the style sheets in the input GUI image and then output a vector. PixCoder generate the GUI code targeting specific platform according to the output vector. The experimental results have shown the accuracy of the GUI code generated by PixCoder is over 95%.
• Abstract（参考訳）: ソフトウェアフロントエンド開発において、グラフィカルユーザインタフェース(GUI)イメージを対応するフロントエンドコードに変換する作業は避けられない作業である。 この作業を自動化しようとする試みがいくつかあった。 しかし、これらのモデルによって生成されたGUIコードは、注意機構のガイダンスがないため正確ではない。 この問題を解決するために,人工的な注意機構に基づくPixCoderを提案する。 アプローチとしては、ニューラルネットワークをトレーニングして、入力されたGUIイメージのスタイルシートを予測し、ベクトルを出力する。 PixCoderは、出力ベクトルに従って特定のプラットフォームをターゲットにしたGUIコードを生成する。 実験の結果、PixCoderが生成したGUIコードの精度は95%以上であることがわかった。

関連論文リスト

• GUing: A Mobile GUI Search Engine using a Vision-Language Model [6.024602799136753]
  本稿ではGUIClipと呼ばれる視覚言語モデルに基づくGUI検索エンジンGUingを提案する。 われわれは最初にGoogle Playアプリの紹介画像から収集し、最も代表的なスクリーンショットを表示する。 そこで我々は,これらの画像からキャプションを分類し,収穫し,抽出する自動パイプラインを開発した。 私たちはこのデータセットを使って新しい視覚言語モデルをトレーニングしました。
  論文  参考訳（メタデータ） (2024-04-30T18:42:18Z)
• EyeFormer: Predicting Personalized Scanpaths with Transformer-Guided Reinforcement Learning [31.583764158565916]
  視覚的ユーザインタフェースにおけるスキャンパスを予測する機械学習モデルであるEyeFormerを提案する。 我々のモデルは、いくつかのユーザ・スキャンパス・サンプルが与えられたとき、パーソナライズされた予測を生成するユニークな能力を持っている。 固定位置や持続時間を含む全スキャンパス情報を個人や様々な刺激タイプで予測することができる。
  論文  参考訳（メタデータ） (2024-04-15T22:26:27Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
  タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。 この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。 また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
  論文  参考訳（メタデータ） (2024-01-17T08:10:35Z)
• From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces [66.85108822706489]
  本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。 このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
  論文  参考訳（メタデータ） (2023-05-31T23:39:18Z)
• GUILGET: GUI Layout GEneration with Transformer [26.457270239234383]
  目標は、現実的で多様なGUIレイアウトを生成することで、GUI設計の最初のステップをサポートすることである。 GUILGETは、GUI-AGの要素間の関係のセマンティクスをキャプチャするために、トランスフォーマーに基づいている。 CLAYデータセットを用いて実験を行った結果,GUI-AGから関係を最もよく理解したモデルであることが判明した。
  論文  参考訳（メタデータ） (2023-04-18T14:27:34Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
  Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。 解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。 線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
  論文  参考訳（メタデータ） (2021-05-29T08:11:40Z)
• Object Detection for Graphical User Interface: Old Fashioned or Deep Learning or a Combination? [21.91118062303175]
  我々は,50k以上のGUI画像上で7つの代表的GUI要素検出手法について,大規模な実証的研究を行った。 本研究は、解決すべき技術的課題に光を当て、新しいGUI要素検出手法の設計について報告する。 25,000個のGUI画像に対する評価は,GUI要素検出における最先端性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-08-12T06:36:33Z)
• Swapping Autoencoder for Deep Image Manipulation [94.33114146172606]
  画像操作に特化して設計されたディープモデルであるSwapping Autoencoderを提案する。 キーとなるアイデアは、2つの独立したコンポーネントで画像をエンコードし、交換された組み合わせをリアルなイメージにマップするように強制することだ。 複数のデータセットの実験により、我々のモデルはより良い結果が得られ、最近の生成モデルと比較してかなり効率が良いことが示されている。
  論文  参考訳（メタデータ） (2020-07-01T17:59:57Z)
• Learning to map source code to software vulnerability using code-as-a-graph [67.62847721118142]
  セキュリティの観点からソースコードのニュアンス学習におけるグラフニューラルネットワークの適用性について検討する。 我々は,既存のコード・アズ・フォトや線形シーケンスの符号化手法よりも,脆弱性検出に有効なコード・アズ・グラフの符号化法を示す。
  論文  参考訳（メタデータ） (2020-06-15T16:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。