論文の概要: Practical Non-Intrusive GUI Exploration Testing with Visual-based
Robotic Arms
- arxiv url: http://arxiv.org/abs/2312.10655v1
- Date: Sun, 17 Dec 2023 09:05:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:21:54.433067
- Title: Practical Non-Intrusive GUI Exploration Testing with Visual-based
Robotic Arms
- Title（参考訳）: 視覚型ロボットアームを用いた非侵入型GUI探索試験
- Authors: Shengcheng Yu, Chunrong Fang, Mingzhe Du, Yuchen Ling, Zhenyu Chen,
Zhendong Su
- Abstract要約: 視覚ロボットアームを用いた実用的な非侵襲的GUIテストフレームワークを提案する。
RoboTestは、新しいGUI画面とウィジェット検出アルゴリズムを統合し、異なるサイズのスクリーンに適応する。
20のモバイルアプリでRoboTestを評価し,組込みシステムのケーススタディを行った。
- 参考スコア（独自算出の注目度）: 14.3266199543725
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: GUI testing is significant in the SE community. Most existing frameworks are
intrusive and only support some specific platforms. With the development of
distinct scenarios, diverse embedded systems or customized operating systems on
different devices do not support existing intrusive GUI testing frameworks.
Some approaches adopt robotic arms to replace the interface invoking of mobile
apps under test and use computer vision technologies to identify GUI elements.
However, some challenges are unsolved. First, existing approaches assume that
GUI screens are fixed so that they cannot be adapted to diverse systems with
different screen conditions. Second, existing approaches use XY-plane robotic
arms, which cannot flexibly simulate testing operations. Third, existing
approaches ignore compatibility bugs and only focus on crash bugs. A more
practical approach is required for the non-intrusive scenario. We propose a
practical non-intrusive GUI testing framework with visual robotic arms.
RoboTest integrates novel GUI screen and widget detection algorithms, adaptive
to detecting screens of different sizes and then to extracting GUI widgets from
the detected screens. Then, a set of testing operations is applied with a 4-DOF
robotic arm, which effectively and flexibly simulates human testing operations.
During app exploration, RoboTest integrates the Principle of Proximity-guided
exploration strategy, choosing close widgets of the previous targets to reduce
robotic arm movement overhead and improve exploration efficiency. RoboTest can
effectively detect some compatibility bugs beyond crash bugs with a GUI
comparison on different devices of the same test operations. We evaluate
RoboTest with 20 mobile apps, with a case study on an embedded system. The
results show that RoboTest can effectively, efficiently, and generally explore
AUTs to find bugs and reduce exploration time overhead.
- Abstract（参考訳）: GUIテストはSEコミュニティで重要である。
ほとんどの既存のフレームワークは侵入的であり、特定のプラットフォームのみをサポートしている。
異なるシナリオの開発により、様々な組み込みシステムや異なるデバイス上のカスタマイズされたオペレーティングシステムは、既存の侵入型GUIテストフレームワークをサポートしない。
一部のアプローチでは、テスト中のモバイルアプリのインターフェイス呼び出しを置き換えるためにロボットアームを採用し、GUI要素を識別するためにコンピュータビジョン技術を使用している。
しかし、いくつかの問題は解決されていない。
まず、GUI画面は異なる画面条件の多様なシステムに適応できないように固定されていると仮定する。
第2に、既存のアプローチではXY面ロボットアームを使用しており、テスト操作を柔軟にシミュレートすることはできない。
第三に、既存のアプローチは互換性バグを無視し、クラッシュバグのみに焦点を当てている。
非侵襲的なシナリオにはもっと実践的なアプローチが必要です。
視覚ロボットアームを用いた実用的非インタラクティブguiテストフレームワークを提案する。
RoboTestは、新しいGUI画面とウィジェット検出アルゴリズムを統合し、異なるサイズのスクリーンを検出し、検出された画面からGUIウィジェットを抽出する。
そして、4-DOFロボットアームで一連のテスト操作を適用し、効果的かつ柔軟に人間のテスト操作をシミュレートする。
アプリの探索中、RoboTestはPrivation of Proximity-Guided Explorion戦略を統合し、以前のターゲットのクローズウィジェットを選択して、ロボットアームの動作オーバーヘッドを減らし、探索効率を向上させる。
RoboTestは、同じテスト操作の異なるデバイス上でGUI比較によって、クラッシュバグ以外のいくつかの互換性バグを効果的に検出できる。
20のモバイルアプリでRoboTestを評価し,組込みシステムのケーススタディを行った。
結果は、RoboTestが効果的に、効果的に、そして一般的にAUTを探索し、バグを見つけ、探索時間のオーバーヘッドを減らすことができることを示している。
関連論文リスト
- GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
MLLMをベースとした自律エージェントGUI-Beeを提案する。
NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
論文 参考訳（メタデータ） (2025-01-23T18:16:21Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z) - GUI Testing Arena: A Unified Benchmark for Advancing Autonomous GUI Testing Agent [24.97846085313314]
自動GUIテストのプロセス全体を評価するための,形式化された総合的な環境を提案する。
テストプロセスは、テスト意図の生成、テストタスクの実行、GUI欠陥検出という、3つの重要なサブタスクに分割します。
実際のモバイルアプリケーション、人工的に注入された欠陥を持つモバイルアプリケーション、合成データという3つのデータタイプを使用して、異なるモデルの性能を評価する。
論文 参考訳（メタデータ） (2024-12-24T13:41:47Z) - Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。
Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。
我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
論文 参考訳（メタデータ） (2024-12-12T15:29:36Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。
提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。
これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - Seeing is Believing: Vision-driven Non-crash Functional Bug Detection for Mobile Apps [26.96558418166514]
本稿では,非クラッシュな機能的バグを検出するための,視覚駆動型多エージェント協調GUIテスト手法を提案する。
590の非クラッシュバグに対してTridentを評価し,12のベースラインと比較したところ,平均リコールと精度が14%-112%,108%-147%向上した。
論文 参考訳（メタデータ） (2024-07-03T11:58:09Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。
本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
論文 参考訳（メタデータ） (2023-10-20T14:04:04Z) - NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing [19.462053492572142]
我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
論文 参考訳（メタデータ） (2023-05-24T01:19:05Z) - Effective, Platform-Independent GUI Testing via Image Embedding and Reinforcement Learning [15.458315113767686]
アプリケーションテストに有効なプラットフォームに依存しないアプローチであるPIRLTestを提案する。
コンピュータビジョンと強化学習技術を利用して、新しいシナジスティックな方法で自動テストを行う。
PILTestは、Q-networkを使用して特定の状態-アクションペアの値を見積もる好奇心駆動型戦略のガイダンスで、アプリを探索する。
論文 参考訳（メタデータ） (2022-08-19T01:51:16Z) - Projection Mapping Implementation: Enabling Direct Externalization of
Perception Results and Action Intent to Improve Robot Explainability [62.03014078810652]
既存の非言語的手がかり、例えば目視や腕の動きに関する研究は、ロボットの内部状態を正確に示さないかもしれない。
状態をロボットの動作環境に直接投影することは、直接的で正確でより健全であるという利点がある。
論文 参考訳（メタデータ） (2020-10-05T18:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。