論文の概要: Automatic code generation from sketches of mobile applications in
end-user development using Deep Learning
- arxiv url: http://arxiv.org/abs/2103.05704v1
- Date: Tue, 9 Mar 2021 20:32:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 14:47:00.886361
- Title: Automatic code generation from sketches of mobile applications in
end-user development using Deep Learning
- Title（参考訳）: ディープラーニングを用いたエンドユーザー開発におけるモバイルアプリケーションのスケッチからの自動コード生成
- Authors: Daniel Baul\'e, Christiane Gresse von Wangenheim, Aldo von Wangenheim,
Jean C. R. Hauck, Edson C. Vargas J\'unior
- Abstract要約: モバイルアプリケーション開発の一般的なニーズは、App Inventorを使ってユーザインターフェイスのスケッチをワイヤーフレームのコードフレームに変換することである。
Sketch2aiaはディープラーニングを使用して、最も頻繁なユーザインターフェースコンポーネントとその手書きスケッチ上の位置を検出する。
- 参考スコア（独自算出の注目度）: 1.714936492787201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common need for mobile application development by end-users or in computing
education is to transform a sketch of a user interface into wireframe code
using App Inventor, a popular block-based programming environment. As this task
is challenging and time-consuming, we present the Sketch2aia approach that
automates this process. Sketch2aia employs deep learning to detect the most
frequent user interface components and their position on a hand-drawn sketch
creating an intermediate representation of the user interface and then
automatically generates the App Inventor code of the wireframe. The approach
achieves an average user interface component classification accuracy of 87,72%
and results of a preliminary user evaluation indicate that it generates
wireframes that closely mirror the sketches in terms of visual similarity. The
approach has been implemented as a web tool and can be used to support the
end-user development of mobile applications effectively and efficiently as well
as the teaching of user interface design in K-12.
- Abstract（参考訳）: エンドユーザやコンピューティング教育におけるモバイルアプリケーション開発の一般的なニーズは、一般的なブロックベースのプログラミング環境であるApp Inventorを使用して、ユーザインターフェースのスケッチをワイヤフレームコードに変換することである。
この作業は困難で時間を要するため、このプロセスを自動化するSketch2aiaアプローチを紹介します。
sketch2aiaはディープラーニングを使用して、最も頻度の高いユーザインターフェースコンポーネントと手描きのスケッチの位置を検出し、ユーザインターフェースの中間表現を作成し、ワイヤーフレームのアプリ発明コードを自動的に生成する。
提案手法は,平均ユーザインタフェースコンポーネント分類精度87,72%を達成し,ユーザ評価の結果から,視覚的類似性の観点からスケッチを忠実に反映したワイヤフレームを生成することを示す。
このアプローチはWebツールとして実装されており、モバイルアプリケーションのエンドユーザー開発を効果的かつ効率的に支援し、K-12でユーザインターフェース設計を教えるために使用することができる。
関連論文リスト
- Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。
また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
論文 参考訳（メタデータ） (2024-10-28T23:10:06Z) - Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。
我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。
UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
論文 参考訳（メタデータ） (2024-10-21T17:39:49Z) - UX Heuristics and Checklist for Deep Learning powered Mobile
Applications with Image Classification [1.2437226707039446]
本研究では,既存のモバイルアプリケーションを画像分類を用いて検討し,画像分類をチェックリストに分解した深層学習モバイルアプリケーションのためのAIXの初期セットを開発する。
また,チェックリストの利用を容易にするために,概念や行動の提示を行うオンラインコースやWebベースのツールも開発した。
論文 参考訳（メタデータ） (2023-07-05T20:23:34Z) - Enhancing Virtual Assistant Intelligence: Precise Area Targeting for
Instance-level User Intents beyond Metadata [18.333599919653444]
アプリケーション画面のピクセルに基づいて,インスタンスレベルのユーザ意図を処理できる仮想アシスタントについて検討する。
入力音声やテキストのインスタンスレベルのユーザ意図を学習するクロスモーダルなディープラーニングパイプラインを提案する。
テストデータセットをインスタンスレベルのユーザインテントで収集するために,参加者10名を対象にユーザスタディを実施した。
論文 参考訳（メタデータ） (2023-06-07T05:26:38Z) - From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳（メタデータ） (2023-05-31T23:39:18Z) - Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。
しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。
したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
論文 参考訳（メタデータ） (2022-11-17T19:00:24Z) - First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual
Information Maximization [112.40598205054994]
我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。
タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。
以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
論文 参考訳（メタデータ） (2022-05-24T21:57:18Z) - X2T: Training an X-to-Text Typing Interface with Online Learning from
User Feedback [83.95599156217945]
ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。
標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。
このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
論文 参考訳（メタデータ） (2022-03-04T00:07:20Z) - Intelligent Exploration for User Interface Modules of Mobile App with
Collective Learning [44.23872832648518]
FEELERは、集合機械学習アプローチでユーザインターフェースモジュールの設計ソリューションを探索するフレームワークである。
本研究では,2つの実生活データセットについて広範囲に実験を行い,実生活におけるユーザインタフェースモジュール設計の適用性を実証した。
論文 参考訳（メタデータ） (2020-07-21T19:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。