論文の概要: Vision-Based Mobile App GUI Testing: A Survey
- arxiv url: http://arxiv.org/abs/2310.13518v1
- Date: Fri, 20 Oct 2023 14:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 22:46:09.320892
- Title: Vision-Based Mobile App GUI Testing: A Survey
- Title(参考訳): ビジョンベースのモバイルアプリGUIテスト:サーベイ
- Authors: Shengcheng Yu, Chunrong Fang, Ziyuan Tuo, Quanjun Zhang, Chunyang
Chen, Zhenyu Chen, Zhendong Su
- Abstract要約: ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。
本研究は226論文における最先端技術に関する総合的な研究であり,78論文は視覚に基づく研究である。
- 参考スコア(独自算出の注目度): 30.49909140195575
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Graphical User Interface (GUI) has become one of the most significant parts
of mobile applications (apps). It is a direct bridge between mobile apps and
end users, which directly affects the end user's experience. Neglecting GUI
quality can undermine the value and effectiveness of the entire mobile app
solution. Significant research efforts have been devoted to GUI testing, one
effective method to ensure mobile app quality. By conducting rigorous GUI
testing, developers can ensure that the visual and interactive elements of the
mobile apps not only meet functional requirements but also provide a seamless
and user-friendly experience. However, traditional solutions, relying on the
source code or layout files, have met challenges in both effectiveness and
efficiency due to the gap between what is obtained and what app GUI actually
presents. Vision-based mobile app GUI testing approaches emerged with the
development of computer vision technologies and have achieved promising
progress. In this survey paper, we provide a comprehensive investigation of the
state-of-the-art techniques on 226 papers, among which 78 are vision-based
studies. This survey covers different topics of GUI testing, like GUI test
generation, GUI test record & replay, GUI testing framework, etc. Specifically,
the research emphasis of this survey is placed mostly on how vision-based
techniques outperform traditional solutions and have gradually taken a vital
place in the GUI testing field. Based on the investigation of existing studies,
we outline the challenges and opportunities of (vision-based) mobile app GUI
testing and propose promising research directions with the combination of
emerging techniques.
- Abstract(参考訳): gui(graphical user interface)は,モバイルアプリケーション(apps)の最も重要な部分のひとつだ。
モバイルアプリとエンドユーザの直接的な橋渡しであり、エンドユーザのエクスペリエンスに直接影響を与えます。
GUI品質の無視は、モバイルアプリ全体の価値と効果を損なう可能性がある。
GUIテストは、モバイルアプリの品質を保証するための効果的な方法である。
厳格なGUIテストを実行することで、開発者はモバイルアプリの視覚的およびインタラクティブな要素が機能要件を満たすだけでなく、シームレスでユーザフレンドリなエクスペリエンスを提供することができる。
しかし、ソースコードやレイアウトファイルに依存する従来のソリューションは、取得したものと実際のアプリGUIとのギャップにより、効率と効率の両面で課題に直面してきた。
ビジョンベースのモバイルアプリGUIテストアプローチは、コンピュータビジョン技術の発展とともに現れ、有望な進歩を遂げた。
本研究は,226論文の最先端技術に関する包括的調査であり,そのうち78論文が視覚に基づく研究である。
この調査では、GUIテスト生成、GUIテストレコードとリプレイ、GUIテストフレームワークなど、GUIテストのさまざまなトピックについて取り上げている。
特に、この調査の重点は、視覚ベースの技術が従来のソリューションよりも優れており、GUIテスト分野において徐々に重要な役割を担っている。
本研究は,既存研究をベースとして,(ビジョンベース)モバイルアプリGUIテストの課題と機会を概説し,新たな技術の組み合わせによる将来的な研究方向性を提案する。
関連論文リスト
- Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI
Testing via Functionality-aware Decisions [23.460051600514806]
GPTDroidは、モバイルアプリ向けのQ&AベースのGUIテスティングフレームワークである。
機能認識型メモリプロンプト機構を導入する。
アクティビティのカバレッジが32%向上し、より高速な速度で31%のバグを検出する。
論文 参考訳(メタデータ) (2023-10-24T12:30:26Z) - NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing [19.462053492572142]
我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
論文 参考訳(メタデータ) (2023-05-24T01:19:05Z) - Chatting with GPT-3 for Zero-Shot Human-Like Mobile Automated GUI
Testing [23.460051600514806]
GPTDroid を提案し,GUI ページ情報を LLM に渡してテストスクリプトを抽出することにより,大規模言語モデルにモバイルアプリとのチャットを依頼する。
そこで我々はGUIページの静的コンテキストと反復テストプロセスの動的コンテキストを抽出する。
Google Playの86のアプリ上でGPTDroidを評価し、そのアクティビティカバレッジは71%で、最高のベースラインよりも32%高く、最高のベースラインよりも高速で36%多くのバグを検出することができます。
論文 参考訳(メタデータ) (2023-05-16T13:46:52Z) - Towards Informed Design and Validation Assistance in Computer Games
Using Imitation Learning [65.12226891589592]
本稿では,自動ゲーム検証とテストのための新しいアプローチを提案する。
本手法は,データ駆動型模倣学習技術を活用し,時間と労力をほとんど必要とせず,機械学習やプログラミングの知識も必要としない。
論文 参考訳(メタデータ) (2022-08-15T11:08:44Z) - First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual
Information Maximization [112.40598205054994]
我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。
タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。
以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
論文 参考訳(メタデータ) (2022-05-24T21:57:18Z) - X2T: Training an X-to-Text Typing Interface with Online Learning from
User Feedback [83.95599156217945]
ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。
標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。
このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
論文 参考訳(メタデータ) (2022-03-04T00:07:20Z) - SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。
最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。
本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
論文 参考訳(メタデータ) (2021-06-21T10:57:49Z) - Emerging App Issue Identification via Online Joint Sentiment-Topic
Tracing [66.57888248681303]
本稿では,MERITという新しい問題検出手法を提案する。
AOBSTモデルに基づいて、1つのアプリバージョンに対するユーザレビューに否定的に反映されたトピックを推測する。
Google PlayやAppleのApp Storeで人気のアプリに対する実験は、MERITの有効性を実証している。
論文 参考訳(メタデータ) (2020-08-23T06:34:05Z) - Object Detection for Graphical User Interface: Old Fashioned or Deep
Learning or a Combination? [21.91118062303175]
我々は,50k以上のGUI画像上で7つの代表的GUI要素検出手法について,大規模な実証的研究を行った。
本研究は、解決すべき技術的課題に光を当て、新しいGUI要素検出手法の設計について報告する。
25,000個のGUI画像に対する評価は,GUI要素検出における最先端性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2020-08-12T06:36:33Z) - Applied Awareness: Test-Driven GUI Development using Computer Vision and
Cryptography [0.0]
テスト駆動開発は非現実的であり、一般的には、黄金の画像を生成したり、インタラクティブなテストシナリオを構築するためにGUIの初期実装を必要とします。
バックエンド通信の観点でGUIプレゼンテーションを解釈する,新しいかつ即時適用可能な手法を実証する。
このバックエンド通信は、プラットフォームに依存したUIアベイランスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避する。
論文 参考訳(メタデータ) (2020-06-05T22:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。