論文の概要: GUIPilot: A Consistency-based Mobile GUI Testing Approach for Detecting Application-specific Bugs
- arxiv url: http://arxiv.org/abs/2506.07385v1
- Date: Mon, 09 Jun 2025 03:09:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.791135
- Title: GUIPilot: A Consistency-based Mobile GUI Testing Approach for Detecting Application-specific Bugs
- Title（参考訳）: GUIPilot: アプリケーション固有のバグを検出するための一貫性ベースのモバイルGUIテストアプローチ
- Authors: Ruofan Liu, Xiwen Teoh, Yun Lin, Guanjie Chen, Ruofei Ren, Denys Poshyvanyk, Jin Song Dong,
- Abstract要約: モバイル設計と実装の矛盾を検出するためのGUIPilotを提案する。
実験の結果,GUIPilotは画面不整合の検出において94.5%の精度と99.6%のリコールを実現することができた。
トレーディングモバイルアプリケーションにGUIPilotを適用するという産業ケーススタディは、GUIPilotが9つのアプリケーションバグを検出したことを示している。
- 参考スコア（独自算出の注目度）: 16.85762480091835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we propose GUIPilot, an approach for detecting inconsistencies between the mobile design and their implementations. The mobile design usually consists of design mock-ups that specify (1) the expected screen appearances (e.g., widget layouts, colors, and shapes) and (2) the expected screen behaviors, regarding how one screen can transition into another (e.g., labeled widgets with textual description). Given a design mock-up and the implementation of its application, GUIPilot reports both their screen inconsistencies as well as process inconsistencies. On the one hand, GUIPilot detects the screen inconsistencies by abstracting every screen into a widget container where each widget is represented by its position, width, height, and type. By defining the partial order of widgets and the costs of replacing, inserting, and deleting widgets in a screen, we convert the screen-matching problem into an optimizable widget alignment problem. On the other hand, we translate the specified GUI transition into stepwise actions on the mobile screen (e.g., click, long-press, input text on some widgets). To this end, we propose a visual prompt for the vision-language model to infer widget-specific actions on the screen. By this means, we can validate the presence or absence of expected transitions in the implementation. Our extensive experiments on 80 mobile applications and 160 design mock-ups show that (1) GUIPilot can achieve 94.5% precision and 99.6% recall in detecting screen inconsistencies, outperforming the state-of-the-art approach, such as GVT, by 66.2% and 56.6% respectively, and (2) GUIPilot reports zero errors in detecting process inconsistencies. Furthermore, our industrial case study on applying GUIPilot on a trading mobile application shows that GUIPilot has detected nine application bugs, and all the bugs were confirmed by the original application experts.
- Abstract（参考訳）: 本稿では,モバイル設計と実装の矛盾を検出するためのGUIPilotを提案する。
モバイルデザインは通常、(1)期待画面の外観(例えば、ウィジェットレイアウト、色、形状)、(2)期待画面の振る舞い(例えば、テキスト記述付きウィジェット)を指定するデザインモックアップで構成されている。
GUIPilotは、デザインモックアップとアプリケーションの実装を前提に、画面の不整合とプロセスの不整合の両方を報告します。
一方、GUIPilotは、すべての画面をウィジェットコンテナに抽象化することで、画面の不整合を検出し、それぞれのウィジェットはその位置、幅、高さ、型で表現される。
ウィジェットの部分的な順序と、ウィジェットを画面に置き換え、挿入し、削除するコストを定義することにより、画面マッチング問題を最適化可能なウィジェットアライメント問題に変換する。
一方、指定されたGUI遷移をモバイル画面上のステップワイズアクション(例えば、クリック、長押し、いくつかのウィジェット上の入力テキスト)に変換する。
そこで本研究では,視覚言語モデルに対して,ウィジェット固有のアクションを画面上に推論する視覚的プロンプトを提案する。
つまり、実装で期待されるトランジションの有無を検証することができるのです。
80のモバイルアプリケーションと160のモックアップに関する広範な実験により、(1)GUIPilotは、画面不整合の検出において94.5%の精度と99.6%のリコールを達成でき、それぞれGVTのような最先端のアプローチを66.2%、56.6%で上回り、(2)GUIPilotはプロセス不整合の検出においてゼロエラーを報告している。
さらに,取引モバイルアプリケーションにGUIPilotを適用する産業ケーススタディでは,GUIPilotが9つのアプリケーションバグを検出し,すべてのバグが元のアプリケーション専門家によって確認された。
関連論文リスト
- GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - ViMo: A Generative Visual GUI World Model for App Agents [60.27668506731929]
ViMoは、将来のApp観測をイメージとして生成するために設計されたビジュアルワールドモデルである。
本稿では,シンボルプレースホルダーによるテキストコンテンツをオーバーレイする新しいデータ表現であるシンボリックテキスト表現を提案する。
この設計では、将来のGUIのグラフィックスを予測するSTR Predictorと、対応するテキストを生成するGUI-text Predictorが使用されている。
論文 参考訳（メタデータ） (2025-04-15T14:03:10Z) - GUIWatcher: Automatically Detecting GUI Lags by Analyzing Mobile Application Screencasts [9.997570370503617]
グラフィカルユーザインタフェース(GUI)はモバイルアプリケーションにおいて中心的な役割を果たし、ユーザビリティとユーザ満足度に直接影響を与えます。
遅延や応答性の低いGUIパフォーマンスは、ネガティブなユーザエクスペリエンスとモバイルアプリケーション(アプリ)レーティングの低下につながる可能性がある。
GUIWatcherは,モバイルアプリのテスト中に記録されたスクリーンキャストを分析し,GUIラグを検出するように設計されたフレームワークである。
論文 参考訳（メタデータ） (2025-02-06T16:43:51Z) - Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。
Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。
我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
論文 参考訳（メタデータ） (2024-12-12T15:29:36Z) - ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z) - Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports [16.45808969240553]
ビデオベースのバグレポートは、グラフィカルユーザインタフェース(GUI)を中心としたプログラムのバグの文書化にますます利用されている。
我々は、視覚変換器のシーン学習機能に適応して、アプリUI画面に現れる微妙な視覚的およびテキスト的パターンをキャプチャする、JANUSと呼ばれる新しいアプローチを導入する。
Janus氏はまた、ビデオフレームの適応重み付けが可能なビデオアライメント技術を使用して、典型的なバグ発生パターンを考慮している。
論文 参考訳（メタデータ） (2024-07-11T15:48:36Z) - GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。
履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
論文 参考訳（メタデータ） (2024-06-12T17:44:26Z) - Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。
本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
論文 参考訳（メタデータ） (2023-10-20T14:04:04Z) - NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing [19.462053492572142]
我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
論文 参考訳（メタデータ） (2023-05-24T01:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。