論文の概要: NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing
- arxiv url: http://arxiv.org/abs/2305.14611v1
- Date: Wed, 24 May 2023 01:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 05:57:22.561984
- Title: NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing
- Title(参考訳): NiCro: 純粋なビジョンベース、非侵入型クロスデバイス、クロスプラットフォームGUIテスト
- Authors: Mulong Xie, Jiaming Ye, Zhenchang Xing, Lei Ma
- Abstract要約: 我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
- 参考スコア(独自算出の注目度): 19.462053492572142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To ensure app compatibility and smoothness of user experience across diverse
devices and platforms, developers have to perform cross-device, cross-platform
testing of their apps, which is laborious. There comes a recently increasing
trend of using a record and replay approach to facilitate the testing process.
However, the graphic user interface (GUI) of an app running on different
devices and platforms differs dramatically. This complicates the record and
replay process as the presence, appearance and layout of the GUI widgets in the
recording phase and replaying phase can be inconsistent. Existing techniques
resort to instrumenting into the underlying system to obtain the app metadata
for widget identification and matching between various devices. But such
intrusive practices are limited by the accessibility and accuracy of the
metadata on different platforms. On the other hand, several recent works
attempt to derive the GUI information by analyzing the GUI image. Nevertheless,
their performance is curbed by the applied preliminary visual approaches and
the failure to consider the divergence of the same GUI displayed on different
devices. To address the challenge, we propose a non-intrusive cross-device and
cross-platform system NiCro. NiCro utilizes the state-of-the-art GUI widget
detector to detect widgets from GUI images and then analyses a set of
comprehensive information to match the widgets across diverse devices. At the
system level, NiCro can interact with a virtual device farm and a robotic arm
system to perform cross-device, cross-platform testing non-intrusively. We
first evaluated NiCro by comparing its multi-modal widget and GUI matching
approach with 4 commonly used matching techniques. Then, we further examined
its overall performance on 8 various devices, using it to record and replay 107
test cases of 28 popular apps and the home page to show its effectiveness.
- Abstract(参考訳): さまざまなデバイスやプラットフォーム間のアプリの互換性とユーザエクスペリエンスの円滑性を確保するためには,アプリケーションのクロスデバイスでクロスプラットフォームなテストを行う必要がある。
最近、テストプロセスを容易にするためにレコードと再生のアプローチを使う傾向が強まっている。
しかし、異なるデバイスやプラットフォームで動作するアプリのグラフィックユーザインターフェース(GUI)は、劇的に異なる。
これにより、記録フェーズ及び再生フェーズにおけるguiウィジェットの存在、出現及びレイアウトが矛盾するので、記録及び再生プロセスが複雑になる。
既存の手法では、ウィジェットの識別と様々なデバイス間のマッチングのためのアプリメタデータを取得するために、基盤となるシステムにインストルメンテーションを取り入れている。
しかし、このような侵入的なプラクティスは、異なるプラットフォーム上のメタデータのアクセシビリティと正確性によって制限されます。
一方,GUI画像の解析によりGUI情報を導出しようとする最近の試みもいくつかある。
それでも、それらの性能は、適用された予備的な視覚的アプローチと、異なるデバイスに表示される同じGUIのばらつきを考慮できないことで抑制されている。
そこで本研究では,非侵入型クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイス間でウィジェットにマッチする包括的な情報の集合を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームのテストを実行することができる。
NiCroのマルチモーダルウィジェットとGUIマッチングを4つの一般的なマッチング手法と比較して評価を行った。
次に,28種類の人気アプリの107種類のテストケースとホームページを記録・再生し,その効果を示すために,8種類のデバイスでの性能をさらに検証した。
関連論文リスト
- Gamified GUI testing with Selenium in the IntelliJ IDE: A Prototype Plugin [0.559239450391449]
本稿では,IntelliJ IDEA用のガミフィケーションプラグインのプロトタイプであるGIPGUTについて述べる。
このプラグインは、達成、報酬、プロファイルのカスタマイズを通じて、単調で退屈なタスクにテスタのエンゲージメントを高める。
その結果,ゲーミフィケーション要素の高利用性と肯定的な受容性が示唆された。
論文 参考訳(メタデータ) (2024-03-14T20:11:11Z) - Practical Non-Intrusive GUI Exploration Testing with Visual-based
Robotic Arms [14.3266199543725]
視覚ロボットアームを用いた実用的な非侵襲的GUIテストフレームワークを提案する。
RoboTestは、新しいGUI画面とウィジェット検出アルゴリズムを統合し、異なるサイズのスクリーンに適応する。
20のモバイルアプリでRoboTestを評価し,組込みシステムのケーススタディを行った。
論文 参考訳(メタデータ) (2023-12-17T09:05:39Z) - GPT-4V in Wonderland: Large Multimodal Models for Zero-Shot Smartphone
GUI Navigation [167.6232690168905]
MM-Navigator(MM-Navigator)は、スマートフォンのGUIナビゲーションタスク用のGPT-4Vベースのエージェントである。
MM-Navigatorは、スマートフォンの画面と人間として対話し、指示を満たすためのその後の行動を決定することができる。
論文 参考訳(メタデータ) (2023-11-13T18:53:37Z) - Vision-Based Mobile App GUI Testing: A Survey [30.49909140195575]
ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。
本研究は226論文における最先端技術に関する総合的な研究であり,78論文は視覚に基づく研究である。
論文 参考訳(メタデータ) (2023-10-20T14:04:04Z) - Scene-Driven Exploration and GUI Modeling for Android Apps [13.647261033241364]
ATG,WTG,STGなどのアプリケーションに対する抽出された遷移グラフは,遷移カバレッジが低く,粒度が粗い。
動的にGUIシーンを抽出するシーン駆動探索手法であるSceneDroidを提案する。
既存のGUIモデリングツールと比較すると、SceneDroidは168.74%のトランジションペアと162.42%のシーン抽出で改善されている。
論文 参考訳(メタデータ) (2023-08-20T10:54:25Z) - DIVOTrack: A Novel Dataset and Baseline Method for Cross-View
Multi-Object Tracking in DIVerse Open Scenes [74.64897845999677]
歩行者が密集したDIVerse Openのシーンを対象とした,新しいクロスビュー多目的追跡データセットを提案する。
私たちのDIVOTrackには15の異なるシナリオと953のクロスビュートラックがあります。
さらに,クロスモット(CrossMOT)という統合型共同検出・クロスビュートラッキングフレームワークを用いた新しいベースラインクロスビュートラッキング手法を提案する。
論文 参考訳(メタデータ) (2023-02-15T14:10:42Z) - Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of
GUI Widgets from GUI Images [21.498096538797952]
本稿では,GUIウィジェットの知覚群を推定するための教師なし画像ベース手法を提案する。
772個のモバイルアプリと20個のUIデザインモックアップから収集した1,091個のGUIのデータセットによる評価は、我々の手法が最先端のアドホックベースのベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2022-06-15T05:16:03Z) - Cross-View Cross-Scene Multi-View Crowd Counting [56.83882084112913]
従来,複数カメラを用いて1台のカメラの視野を拡大する手法が提案されてきた。
任意のカメラレイアウトで異なるシーンでトレーニングやテストを行う,クロスビュー・クロスシーン(CVCS)のマルチビュー・クラウドカウント・パラダイムを提案する。
論文 参考訳(メタデータ) (2022-05-03T15:03:44Z) - X2T: Training an X-to-Text Typing Interface with Online Learning from
User Feedback [83.95599156217945]
ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。
標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。
このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
論文 参考訳(メタデータ) (2022-03-04T00:07:20Z) - DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse
Motion [56.1428110894411]
マルチヒューマントラッキングのための大規模データセットを提案する。
データセットには、主にグループダンスビデオが含まれているので、私たちはそれを"DanceTrack"と名付けます。
当社のデータセット上でいくつかの最先端トラッカーをベンチマークし、既存のベンチマークと比較した場合、DanceTrackの大幅なパフォーマンス低下を観察します。
論文 参考訳(メタデータ) (2021-11-29T16:49:06Z) - SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。
最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。
本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
論文 参考訳(メタデータ) (2021-06-21T10:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。