論文の概要: A Pairwise Dataset for GUI Conversion and Retrieval between Android
Phones and Tablets
- arxiv url: http://arxiv.org/abs/2307.13225v3
- Date: Sun, 5 Nov 2023 04:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 21:39:31.503870
- Title: A Pairwise Dataset for GUI Conversion and Retrieval between Android
Phones and Tablets
- Title(参考訳): Android Phoneとタブレット間のGUI変換と検索のためのペアワイズデータセット
- Authors: Han Hu, Haolan Zhan, Yujin Huang, Di Liu
- Abstract要約: Paptデータセットは、Androidスマートフォンとタブレット間のGUI変換と検索のためのペアワイズデータセットである。
データセットには5,593の電話-タブレットアプリペアから10,035の電話-タブレットGUIページペアが含まれている。
- 参考スコア(独自算出の注目度): 24.208087862974033
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the popularity of smartphones and tablets, users have become accustomed
to using different devices for different tasks, such as using their phones to
play games and tablets to watch movies. To conquer the market, one app is often
available on both smartphones and tablets. However, although one app has
similar graphic user interfaces (GUIs) and functionalities on phone and tablet,
current app developers typically start from scratch when developing a
tablet-compatible version of their app, which drives up development costs and
wastes existing design resources. Researchers are attempting to employ deep
learning in automated GUIs development to enhance developers' productivity.
Deep learning models rely heavily on high-quality datasets. There are currently
several publicly accessible GUI page datasets for phones, but none for pairwise
GUIs between phones and tablets. This poses a significant barrier to the
employment of deep learning in automated GUI development. In this paper, we
collect and make public the Papt dataset, which is a pairwise dataset for GUI
conversion and retrieval between Android phones and tablets. The dataset
contains 10,035 phone-tablet GUI page pairs from 5,593 phone-tablet app pairs.
We illustrate the approaches of collecting pairwise data and statistical
analysis of this dataset. We also illustrate the advantages of our dataset
compared to other current datasets. Through preliminary experiments on this
dataset, we analyse the present challenges of utilising deep learning in
automated GUI development and find that our dataset can assist the application
of some deep learning models to tasks involving automatic GUI development.
- Abstract(参考訳): スマートフォンやタブレットの普及に伴い、ユーザーはスマートフォンを使ってゲームやタブレットで映画を見るなど、さまざまなタスクにさまざまなデバイスを使うことに慣れるようになった。
市場を征服するためには、スマートフォンとタブレットの両方で1つのアプリが利用できる。
しかし、あるアプリには、似たようなグラフィックユーザーインターフェイス(GUI)と電話やタブレットの機能があるが、現在のアプリ開発者は、タブレット互換バージョンのアプリを開発するときにスクラッチから始めるのが普通だ。
研究者は開発者の生産性を高めるために、GUI自動開発にディープラーニングを導入しようとしている。
ディープラーニングモデルは高品質なデータセットに大きく依存する。
現在、携帯電話向けに公開されているGUIページデータセットはいくつかあるが、携帯電話とタブレット間のGUIのペアは存在しない。
これは、GUI自動開発におけるディープラーニングの活用に大きな障壁となる。
本稿では,Android端末とタブレット間のGUI変換と検索のためのペアワイズデータセットであるPaptデータセットの収集と公開を行う。
データセットには5,593の電話タブレットアプリペアから10,035の電話タブレットGUIページペアが含まれている。
本稿では,ペアワイズデータ収集のアプローチと,このデータセットの統計解析について述べる。
また、現在のデータセットと比較して、データセットの利点も説明します。
このデータセットの予備的な実験を通じて、自動GUI開発におけるディープラーニングの利用に関する現在の課題を分析し、私たちのデータセットが、いくつかのディープラーニングモデルを自動GUI開発を含むタスクに適用するのに役立つことを確かめる。
関連論文リスト
- SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳(メタデータ) (2024-01-17T08:10:35Z) - Pairwise GUI Dataset Construction Between Android Phones and Tablets [24.208087862974033]
Paptデータセットは、Androidスマートフォンとタブレット用に調整されたペアワイズGUIデータセットである。
本稿では,このデータセット構築のための新しいGUIコレクション手法を提案する。
論文 参考訳(メタデータ) (2023-10-07T09:30:42Z) - BridgeData V2: A Dataset for Robot Learning at Scale [73.86688388408021]
BridgeData V2は、ロボット操作行動の大規模で多様なデータセットである。
対象は、24の環境にまたがる60,096個のトラジェクトリだ。
論文 参考訳(メタデータ) (2023-08-24T17:41:20Z) - Automated Mapping of Adaptive App GUIs from Phones to TVs [31.207923538204795]
既存のモバイルアプリのGUIをテレビにマップする技術では、応答性のあるデザインを採用するか、ミラーアプリを使ってビデオディスプレイを改善する。
そこで本稿では,携帯電話のGUIを入力として,対応する適応型TV GUIを生成するための半自動アプローチを提案する。
当社のツールは、開発者だけでなく、テレビアプリ開発のために生成されたGUIをさらにカスタマイズできるGUIデザイナにとっても有益です。
論文 参考訳(メタデータ) (2023-07-24T04:35:51Z) - NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing [19.462053492572142]
我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
論文 参考訳(メタデータ) (2023-05-24T01:19:05Z) - META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI [28.484013258445067]
我々はGUIベースのタスク指向対話システム(GUI-TOD)という新しいTODアーキテクチャを提案する。
GUI-TODシステムは、バックエンドAPIを呼び出すことなく、実際のAPP上でGUI操作を直接実行し、タスクを実行することができる。
モバイルGUI上でマルチモーダル対話エージェントをトレーニングするためのデータセットであるMETA-GUIをリリースする。
論文 参考訳(メタデータ) (2022-05-23T04:05:37Z) - Kubric: A scalable dataset generator [73.78485189435729]
KubricはPythonフレームワークで、PyBulletやBlenderとインターフェースして写真リアリスティックなシーンを生成する。
本研究では,3次元NeRFモデルの研究から光フロー推定まで,13種類の異なるデータセットを提示することで,Kubricの有効性を実証する。
論文 参考訳(メタデータ) (2022-03-07T18:13:59Z) - DataLab: A Platform for Data Analysis and Intervention [96.75253335629534]
DataLabは統一されたデータ指向プラットフォームであり、ユーザはデータの特徴をインタラクティブに分析することができる。
ツールネームには、データセットレコメンデーションとグローバルビジョン分析のための機能がある。
これまでのところ、DataLabは1,715のデータセットと3,583の変換バージョンをカバーしている。
論文 参考訳(メタデータ) (2022-02-25T18:32:19Z) - Multi-Task Self-Training for Learning General Representations [97.01728635294879]
マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。
MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
論文 参考訳(メタデータ) (2021-08-25T17:20:50Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳(メタデータ) (2021-04-29T05:31:21Z) - TapNet: The Design, Training, Implementation, and Applications of a
Multi-Task Learning CNN for Off-Screen Mobile Input [75.05709030478073]
本稿では,スマートフォンのタップを検出するマルチタスクネットワークであるTapNetの設計,トレーニング,実装,応用について述べる。
TapNetはデバイス間のデータから共同で学習し、タップ方向やタップ位置を含む複数のタップ特性を同時に認識することができる。
論文 参考訳(メタデータ) (2021-02-18T00:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。