論文の概要: A Pairwise Dataset for GUI Conversion and Retrieval between Android
Phones and Tablets
- arxiv url: http://arxiv.org/abs/2307.13225v3
- Date: Sun, 5 Nov 2023 04:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 21:39:31.503870
- Title: A Pairwise Dataset for GUI Conversion and Retrieval between Android
Phones and Tablets
- Title（参考訳）: Android Phoneとタブレット間のGUI変換と検索のためのペアワイズデータセット
- Authors: Han Hu, Haolan Zhan, Yujin Huang, Di Liu
- Abstract要約: Paptデータセットは、Androidスマートフォンとタブレット間のGUI変換と検索のためのペアワイズデータセットである。
データセットには5,593の電話-タブレットアプリペアから10,035の電話-タブレットGUIページペアが含まれている。
- 参考スコア（独自算出の注目度）: 24.208087862974033
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the popularity of smartphones and tablets, users have become accustomed
to using different devices for different tasks, such as using their phones to
play games and tablets to watch movies. To conquer the market, one app is often
available on both smartphones and tablets. However, although one app has
similar graphic user interfaces (GUIs) and functionalities on phone and tablet,
current app developers typically start from scratch when developing a
tablet-compatible version of their app, which drives up development costs and
wastes existing design resources. Researchers are attempting to employ deep
learning in automated GUIs development to enhance developers' productivity.
Deep learning models rely heavily on high-quality datasets. There are currently
several publicly accessible GUI page datasets for phones, but none for pairwise
GUIs between phones and tablets. This poses a significant barrier to the
employment of deep learning in automated GUI development. In this paper, we
collect and make public the Papt dataset, which is a pairwise dataset for GUI
conversion and retrieval between Android phones and tablets. The dataset
contains 10,035 phone-tablet GUI page pairs from 5,593 phone-tablet app pairs.
We illustrate the approaches of collecting pairwise data and statistical
analysis of this dataset. We also illustrate the advantages of our dataset
compared to other current datasets. Through preliminary experiments on this
dataset, we analyse the present challenges of utilising deep learning in
automated GUI development and find that our dataset can assist the application
of some deep learning models to tasks involving automatic GUI development.
- Abstract（参考訳）: スマートフォンやタブレットの普及に伴い、ユーザーはスマートフォンを使ってゲームやタブレットで映画を見るなど、さまざまなタスクにさまざまなデバイスを使うことに慣れるようになった。
市場を征服するためには、スマートフォンとタブレットの両方で1つのアプリが利用できる。
しかし、あるアプリには、似たようなグラフィックユーザーインターフェイス(GUI)と電話やタブレットの機能があるが、現在のアプリ開発者は、タブレット互換バージョンのアプリを開発するときにスクラッチから始めるのが普通だ。
研究者は開発者の生産性を高めるために、GUI自動開発にディープラーニングを導入しようとしている。
ディープラーニングモデルは高品質なデータセットに大きく依存する。
現在、携帯電話向けに公開されているGUIページデータセットはいくつかあるが、携帯電話とタブレット間のGUIのペアは存在しない。
これは、GUI自動開発におけるディープラーニングの活用に大きな障壁となる。
本稿では,Android端末とタブレット間のGUI変換と検索のためのペアワイズデータセットであるPaptデータセットの収集と公開を行う。
データセットには5,593の電話タブレットアプリペアから10,035の電話タブレットGUIページペアが含まれている。
本稿では,ペアワイズデータ収集のアプローチと,このデータセットの統計解析について述べる。
また、現在のデータセットと比較して、データセットの利点も説明します。
このデータセットの予備的な実験を通じて、自動GUI開発におけるディープラーニングの利用に関する現在の課題を分析し、私たちのデータセットが、いくつかのディープラーニングモデルを自動GUI開発を含むタスクに適用するのに役立つことを確かめる。
関連論文リスト
- OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。
現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
論文 参考訳（メタデータ） (2024-10-30T17:10:19Z) - AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。
AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。
AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
論文 参考訳（メタデータ） (2024-07-03T17:59:58Z) - GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。
まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。
次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
論文 参考訳（メタデータ） (2024-06-17T08:30:55Z) - GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。
各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
論文 参考訳（メタデータ） (2024-06-16T06:56:53Z) - GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。
履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
論文 参考訳（メタデータ） (2024-06-12T17:44:26Z) - SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳（メタデータ） (2024-01-17T08:10:35Z) - Pairwise GUI Dataset Construction Between Android Phones and Tablets [24.208087862974033]
Paptデータセットは、Androidスマートフォンとタブレット用に調整されたペアワイズGUIデータセットである。
本稿では,このデータセット構築のための新しいGUIコレクション手法を提案する。
論文 参考訳（メタデータ） (2023-10-07T09:30:42Z) - Automated Mapping of Adaptive App GUIs from Phones to TVs [31.207923538204795]
既存のモバイルアプリのGUIをテレビにマップする技術では、応答性のあるデザインを採用するか、ミラーアプリを使ってビデオディスプレイを改善する。
そこで本稿では,携帯電話のGUIを入力として,対応する適応型TV GUIを生成するための半自動アプローチを提案する。
当社のツールは、開発者だけでなく、テレビアプリ開発のために生成されたGUIをさらにカスタマイズできるGUIデザイナにとっても有益です。
論文 参考訳（メタデータ） (2023-07-24T04:35:51Z) - META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI [28.484013258445067]
我々はGUIベースのタスク指向対話システム(GUI-TOD)という新しいTODアーキテクチャを提案する。
GUI-TODシステムは、バックエンドAPIを呼び出すことなく、実際のAPP上でGUI操作を直接実行し、タスクを実行することができる。
モバイルGUI上でマルチモーダル対話エージェントをトレーニングするためのデータセットであるMETA-GUIをリリースする。
論文 参考訳（メタデータ） (2022-05-23T04:05:37Z) - TapNet: The Design, Training, Implementation, and Applications of a
Multi-Task Learning CNN for Off-Screen Mobile Input [75.05709030478073]
本稿では,スマートフォンのタップを検出するマルチタスクネットワークであるTapNetの設計,トレーニング,実装,応用について述べる。
TapNetはデバイス間のデータから共同で学習し、タップ方向やタップ位置を含む複数のタップ特性を同時に認識することができる。
論文 参考訳（メタデータ） (2021-02-18T00:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。