論文の概要: Automatic code generation from sketches of mobile applications in
end-user development using Deep Learning
- arxiv url: http://arxiv.org/abs/2103.05704v1
- Date: Tue, 9 Mar 2021 20:32:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 14:47:00.886361
- Title: Automatic code generation from sketches of mobile applications in
end-user development using Deep Learning
- Title(参考訳): ディープラーニングを用いたエンドユーザー開発におけるモバイルアプリケーションのスケッチからの自動コード生成
- Authors: Daniel Baul\'e, Christiane Gresse von Wangenheim, Aldo von Wangenheim,
Jean C. R. Hauck, Edson C. Vargas J\'unior
- Abstract要約: モバイルアプリケーション開発の一般的なニーズは、App Inventorを使ってユーザインターフェイスのスケッチをワイヤーフレームのコードフレームに変換することである。
Sketch2aiaはディープラーニングを使用して、最も頻繁なユーザインターフェースコンポーネントとその手書きスケッチ上の位置を検出する。
- 参考スコア(独自算出の注目度): 1.714936492787201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common need for mobile application development by end-users or in computing
education is to transform a sketch of a user interface into wireframe code
using App Inventor, a popular block-based programming environment. As this task
is challenging and time-consuming, we present the Sketch2aia approach that
automates this process. Sketch2aia employs deep learning to detect the most
frequent user interface components and their position on a hand-drawn sketch
creating an intermediate representation of the user interface and then
automatically generates the App Inventor code of the wireframe. The approach
achieves an average user interface component classification accuracy of 87,72%
and results of a preliminary user evaluation indicate that it generates
wireframes that closely mirror the sketches in terms of visual similarity. The
approach has been implemented as a web tool and can be used to support the
end-user development of mobile applications effectively and efficiently as well
as the teaching of user interface design in K-12.
- Abstract(参考訳): エンドユーザやコンピューティング教育におけるモバイルアプリケーション開発の一般的なニーズは、一般的なブロックベースのプログラミング環境であるApp Inventorを使用して、ユーザインターフェースのスケッチをワイヤフレームコードに変換することである。
この作業は困難で時間を要するため、このプロセスを自動化するSketch2aiaアプローチを紹介します。
sketch2aiaはディープラーニングを使用して、最も頻度の高いユーザインターフェースコンポーネントと手描きのスケッチの位置を検出し、ユーザインターフェースの中間表現を作成し、ワイヤーフレームのアプリ発明コードを自動的に生成する。
提案手法は,平均ユーザインタフェースコンポーネント分類精度87,72%を達成し,ユーザ評価の結果から,視覚的類似性の観点からスケッチを忠実に反映したワイヤフレームを生成することを示す。
このアプローチはWebツールとして実装されており、モバイルアプリケーションのエンドユーザー開発を効果的かつ効率的に支援し、K-12でユーザインターフェース設計を教えるために使用することができる。
関連論文リスト
- UX Heuristics and Checklist for Deep Learning powered Mobile
Applications with Image Classification [1.2437226707039446]
本研究では,既存のモバイルアプリケーションを画像分類を用いて検討し,画像分類をチェックリストに分解した深層学習モバイルアプリケーションのためのAIXの初期セットを開発する。
また,チェックリストの利用を容易にするために,概念や行動の提示を行うオンラインコースやWebベースのツールも開発した。
論文 参考訳(メタデータ) (2023-07-05T20:23:34Z) - Enhancing Virtual Assistant Intelligence: Precise Area Targeting for
Instance-level User Intents beyond Metadata [18.333599919653444]
アプリケーション画面のピクセルに基づいて,インスタンスレベルのユーザ意図を処理できる仮想アシスタントについて検討する。
入力音声やテキストのインスタンスレベルのユーザ意図を学習するクロスモーダルなディープラーニングパイプラインを提案する。
テストデータセットをインスタンスレベルのユーザインテントで収集するために,参加者10名を対象にユーザスタディを実施した。
論文 参考訳(メタデータ) (2023-06-07T05:26:38Z) - From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳(メタデータ) (2023-05-31T23:39:18Z) - Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。
しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。
したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
論文 参考訳(メタデータ) (2022-11-17T19:00:24Z) - Rules Of Engagement: Levelling Up To Combat Unethical CUI Design [23.01296770233131]
いわゆる暗黒パターンの先行研究から得られた5次元のインタフェースを簡易に評価する手法を提案する。
提案手法はユーザに対して,評価されたインタフェースの操作性を表す数値スコアを提供する。
論文 参考訳(メタデータ) (2022-07-19T14:02:24Z) - First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual
Information Maximization [112.40598205054994]
我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。
タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。
以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
論文 参考訳(メタデータ) (2022-05-24T21:57:18Z) - X2T: Training an X-to-Text Typing Interface with Online Learning from
User Feedback [83.95599156217945]
ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。
標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。
このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
論文 参考訳(メタデータ) (2022-03-04T00:07:20Z) - ASHA: Assistive Teleoperation via Human-in-the-Loop Reinforcement
Learning [91.58711082348293]
オンラインユーザからのフィードバックからシステムのパフォーマンスに関する強化学習は、この問題に対する自然な解決策である。
このアプローチでは、特にフィードバックが不足している場合には、ループ内の大量のトレーニングデータが必要になる傾向があります。
疎いユーザフィードバックから効率的に学習する階層型ソリューションを提案する。
論文 参考訳(メタデータ) (2022-02-05T02:01:19Z) - Intelligent Exploration for User Interface Modules of Mobile App with
Collective Learning [44.23872832648518]
FEELERは、集合機械学習アプローチでユーザインターフェースモジュールの設計ソリューションを探索するフレームワークである。
本研究では,2つの実生活データセットについて広範囲に実験を行い,実生活におけるユーザインタフェースモジュール設計の適用性を実証した。
論文 参考訳(メタデータ) (2020-07-21T19:00:54Z) - Federated Learning of User Authentication Models [69.93965074814292]
機械学習モデルのプライバシー保護のためのフレームワークであるFederated User Authentication (FedUA)を提案する。
FedUAは、フェデレートされた学習フレームワークを採用して、ユーザが生の入力を共有することなく、共同でモデルをトレーニングできるようにする。
提案手法はプライバシ保護であり,多数のユーザに対してスケーラブルであることを示し,出力層を変更することなく,新たなユーザをトレーニングに追加できるようにした。
論文 参考訳(メタデータ) (2020-07-09T08:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。