論文の概要: Scene-Driven Exploration and GUI Modeling for Android Apps
- arxiv url: http://arxiv.org/abs/2308.10228v1
- Date: Sun, 20 Aug 2023 10:54:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 13:15:45.010840
- Title: Scene-Driven Exploration and GUI Modeling for Android Apps
- Title(参考訳): Androidアプリのシーン駆動探索とGUIモデリング
- Authors: Xiangyu Zhang, Lingling Fan, Sen Chen, Yucheng Su, Boyuan Li
- Abstract要約: ATG,WTG,STGなどのアプリケーションに対する抽出された遷移グラフは,遷移カバレッジが低く,粒度が粗い。
動的にGUIシーンを抽出するシーン駆動探索手法であるSceneDroidを提案する。
既存のGUIモデリングツールと比較すると、SceneDroidは168.74%のトランジションペアと162.42%のシーン抽出で改善されている。
- 参考スコア(独自算出の注目度): 13.647261033241364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the competitive environment, mobile apps are usually produced under
pressure with lots of complicated functionality and UI pages. Therefore, it is
challenging for various roles to design, understand, test, and maintain these
apps. The extracted transition graphs for apps such as ATG, WTG, and STG have a
low transition coverage and coarse-grained granularity, which limits the
existing methods of graphical user interface (GUI) modeling by UI exploration.
To solve these problems, in this paper, we propose SceneDroid, a scene-driven
exploration approach to extracting the GUI scenes dynamically by integrating a
series of novel techniques including smart exploration, state fuzzing, and
indirect launching strategies. We present the GUI scenes as a scene transition
graph (SceneTG) to model the GUI of apps with high transition coverage and
fine? grained granularity. Compared with the existing GUI modeling tools,
SceneDroid has improved by 168.74% in the coverage of transition pairs and
162.42% in scene extraction. Apart from the effectiveness evaluation of
SceneDroid, we also illustrate the future potential of SceneDroid as a
fundamental capability to support app development, reverse engineering, and GUI
regression testing.
- Abstract(参考訳): 競争環境のため、モバイルアプリは通常、複雑な機能やuiページの多いプレッシャー下で生成される。
したがって、様々な役割がこれらのアプリを設計、理解、テスト、保守することが困難である。
atg、wtg、stgなどのアプリから抽出された遷移グラフは、遷移範囲が低く粒度が粗いため、ui探索による既存のグラフィカルユーザインタフェース(gui)モデリングの方法が制限される。
そこで本稿では,スマート探索,状態ファジング,間接起動戦略といった一連の新しい手法を統合し,guiシーンを動的に抽出するシーン駆動探索手法であるscenedroidを提案する。
GUIシーンをシーン遷移グラフ(SceneTG)として提示し、高いトランジションカバレッジを持つアプリのGUIをモデル化します。
粒度の細かい粒度。
既存のGUIモデリングツールと比較すると、SceneDroidは168.74%のトランジションペアと162.42%のシーン抽出で改善されている。
SceneDroidの有効性の評価とは別に、アプリ開発、リバースエンジニアリング、GUI回帰テストをサポートする基本的な機能として、SceneDroidの将来の可能性についても説明します。
関連論文リスト
- GUing: A Mobile GUI Search Engine using a Vision-Language Model [6.024602799136753]
本稿では,UIClip と呼ばれる視覚言語モデルに基づくGUI検索エンジン GUing を提案する。
われわれはまず、Google Playからアプリの紹介画像を収集した。
そこで我々は,これらの画像からキャプションを分類し,収穫し,抽出する自動パイプラインを開発した。
私たちはこのデータセットを使って新しい視覚言語モデルをトレーニングしました。
論文 参考訳(メタデータ) (2024-04-30T18:42:18Z) - 3D scene generation from scene graphs and self-attention [51.49886604454926]
本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。
我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
論文 参考訳(メタデータ) (2024-04-02T12:26:17Z) - SceneX:Procedural Controllable Large-scale Scene Generation via Large-language Models [53.961002112433576]
本稿では,デザイナーのテキスト記述に従って高品質なプロシージャモデルを自動生成する大規模シーン生成フレームワークであるSceneXを紹介する。
私たちのSceneXは、微妙な幾何学的レイアウトと構造を持つ2.5km×2.5kmの都市を生成でき、プロのPCGエンジニアの数週間の時間を大幅に短縮して、普通のユーザにとっては数時間に過ぎません。
論文 参考訳(メタデータ) (2024-03-23T03:23:29Z) - Comprehensive Cognitive LLM Agent for Smartphone GUI Automation [69.32269322774543]
大規模言語モデル(LLM)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
我々は、包括的環境認識(CEP)と条件付き行動予測(CAP)という2つの新しいアプローチで、包括的包括的アンダーラインAgent(CoCo-Agent)を提案する。
本稿では, AITW と META-GUI ベンチマークにおいて, 現実的なシナリオにおいて有望な性能を示す新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-19T08:29:03Z) - SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳(メタデータ) (2024-01-17T08:10:35Z) - Vision-Based Mobile App GUI Testing: A Survey [30.49909140195575]
ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。
本研究は226論文における最先端技術に関する総合的な研究であり,78論文は視覚に基づく研究である。
論文 参考訳(メタデータ) (2023-10-20T14:04:04Z) - Boosting GUI Prototyping with Diffusion Models [0.440401067183266]
Stable Diffusionのようなディープラーニングモデルは、強力なテキスト・ツー・イメージツールとして登場した。
安定拡散を利用してモバイルUIを生成するアプローチであるUI-Diffuserを提案する。
予備的な結果は、UI-DiffuserがモバイルGUI設計を生成するための効率的でコスト効率の良い方法を提供することを示している。
論文 参考訳(メタデータ) (2023-06-09T20:08:46Z) - NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing [19.462053492572142]
我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
論文 参考訳(メタデータ) (2023-05-24T01:19:05Z) - MIGS: Meta Image Generation from Scene Graphs [48.82382997154196]
メタラーニングに基づくグラフ画像生成手法であるMIGS(Meta Image Generation from Scene Graphs)を提案する。
タスク駆動方式でデータをサンプリングすることにより、シーン属性に基づいて分類されたタスクの集合に基づいてメタラーニングを用いてジェネレータを訓練する。
以上の結果から,このメタラーニング手法を用いて,映像の質とシーンの意味的関係を把握し,シーングラフから画像を生成することが示唆された。
論文 参考訳(メタデータ) (2021-10-22T17:02:44Z) - Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using
Scene Graphs [85.54212143154986]
制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。
シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である
本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
論文 参考訳(メタデータ) (2021-08-19T17:59:07Z) - Unconditional Scene Graph Generation [72.53624470737712]
我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。
SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
論文 参考訳(メタデータ) (2021-08-12T17:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。