論文の概要: Practical Non-Intrusive GUI Exploration Testing with Visual-based Robotic Arms

• arxiv url: http://arxiv.org/abs/2312.10655v1
• Date: Sun, 17 Dec 2023 09:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:21:54.433067
• Title: Practical Non-Intrusive GUI Exploration Testing with Visual-based Robotic Arms
• Title（参考訳）: 視覚型ロボットアームを用いた非侵入型GUI探索試験
• Authors: Shengcheng Yu, Chunrong Fang, Mingzhe Du, Yuchen Ling, Zhenyu Chen, Zhendong Su
• Abstract要約: 視覚ロボットアームを用いた実用的な非侵襲的GUIテストフレームワークを提案する。 RoboTestは、新しいGUI画面とウィジェット検出アルゴリズムを統合し、異なるサイズのスクリーンに適応する。 20のモバイルアプリでRoboTestを評価し,組込みシステムのケーススタディを行った。
• 参考スコア（独自算出の注目度）: 14.3266199543725
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: GUI testing is significant in the SE community. Most existing frameworks are intrusive and only support some specific platforms. With the development of distinct scenarios, diverse embedded systems or customized operating systems on different devices do not support existing intrusive GUI testing frameworks. Some approaches adopt robotic arms to replace the interface invoking of mobile apps under test and use computer vision technologies to identify GUI elements. However, some challenges are unsolved. First, existing approaches assume that GUI screens are fixed so that they cannot be adapted to diverse systems with different screen conditions. Second, existing approaches use XY-plane robotic arms, which cannot flexibly simulate testing operations. Third, existing approaches ignore compatibility bugs and only focus on crash bugs. A more practical approach is required for the non-intrusive scenario. We propose a practical non-intrusive GUI testing framework with visual robotic arms. RoboTest integrates novel GUI screen and widget detection algorithms, adaptive to detecting screens of different sizes and then to extracting GUI widgets from the detected screens. Then, a set of testing operations is applied with a 4-DOF robotic arm, which effectively and flexibly simulates human testing operations. During app exploration, RoboTest integrates the Principle of Proximity-guided exploration strategy, choosing close widgets of the previous targets to reduce robotic arm movement overhead and improve exploration efficiency. RoboTest can effectively detect some compatibility bugs beyond crash bugs with a GUI comparison on different devices of the same test operations. We evaluate RoboTest with 20 mobile apps, with a case study on an embedded system. The results show that RoboTest can effectively, efficiently, and generally explore AUTs to find bugs and reduce exploration time overhead.
• Abstract（参考訳）: GUIテストはSEコミュニティで重要である。 ほとんどの既存のフレームワークは侵入的であり、特定のプラットフォームのみをサポートしている。 異なるシナリオの開発により、様々な組み込みシステムや異なるデバイス上のカスタマイズされたオペレーティングシステムは、既存の侵入型GUIテストフレームワークをサポートしない。 一部のアプローチでは、テスト中のモバイルアプリのインターフェイス呼び出しを置き換えるためにロボットアームを採用し、GUI要素を識別するためにコンピュータビジョン技術を使用している。 しかし、いくつかの問題は解決されていない。 まず、GUI画面は異なる画面条件の多様なシステムに適応できないように固定されていると仮定する。 第2に、既存のアプローチではXY面ロボットアームを使用しており、テスト操作を柔軟にシミュレートすることはできない。 第三に、既存のアプローチは互換性バグを無視し、クラッシュバグのみに焦点を当てている。 非侵襲的なシナリオにはもっと実践的なアプローチが必要です。 視覚ロボットアームを用いた実用的非インタラクティブguiテストフレームワークを提案する。 RoboTestは、新しいGUI画面とウィジェット検出アルゴリズムを統合し、異なるサイズのスクリーンを検出し、検出された画面からGUIウィジェットを抽出する。 そして、4-DOFロボットアームで一連のテスト操作を適用し、効果的かつ柔軟に人間のテスト操作をシミュレートする。 アプリの探索中、RoboTestはPrivation of Proximity-Guided Explorion戦略を統合し、以前のターゲットのクローズウィジェットを選択して、ロボットアームの動作オーバーヘッドを減らし、探索効率を向上させる。 RoboTestは、同じテスト操作の異なるデバイス上でGUI比較によって、クラッシュバグ以外のいくつかの互換性バグを効果的に検出できる。 20のモバイルアプリでRoboTestを評価し,組込みシステムのケーススタディを行った。 結果は、RoboTestが効果的に、効果的に、そして一般的にAUTを探索し、バグを見つけ、探索時間のオーバーヘッドを減らすことができることを示している。

関連論文リスト

• Vision-driven Automated Mobile GUI Testing via Multimodal Large Language Model [27.97964877860671]
  本稿では,マルチモーダル大規模言語モデルを用いて,非クラッシュな機能的バグを検出する視覚駆動型GUIテスト手法を提案する。 GUIテキスト情報を抽出し、スクリーンショットと整列して視覚プロンプトを形成することで、MLLMはGUIコンテキストを理解することができる。 VisionDroidは、Google Playの29の新しいバグを特定し、そのうち19が確認され、修正されている。
  論文  参考訳（メタデータ） (2024-07-03T11:58:09Z)
• ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning [74.58666091522198]
  非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
  論文  参考訳（メタデータ） (2024-06-28T08:28:38Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
  ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。 本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
  論文  参考訳（メタデータ） (2023-10-20T14:04:04Z)
• NiCro: Purely Vision-based, Non-intrusive Cross-Device and Cross-Platform GUI Testing [19.462053492572142]
  我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。 NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。 システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
  論文  参考訳（メタデータ） (2023-05-24T01:19:05Z)
• Taming Android Fragmentation through Lightweight Crowdsourced Testing [9.752084629147854]
  我々は,クラウドソースによるAndroidの断片化を緩和する,新しい,軽量なクラウドソーステスト手法であるLAZYCOWを提案する。 実世界のAndroidデバイス上で数千のテストケースの実験結果から、LAZYCOWはAPIによる互換性の問題を自動的に識別し、検証するのに有効であることが示された。
  論文  参考訳（メタデータ） (2023-04-10T01:37:16Z)
• Effective, Platform-Independent GUI Testing via Image Embedding and Reinforcement Learning [15.458315113767686]
  アプリケーションテストに有効なプラットフォームに依存しないアプローチであるPIRLTestを提案する。 コンピュータビジョンと強化学習技術を利用して、新しいシナジスティックな方法で自動テストを行う。 PILTestは、Q-networkを使用して特定の状態-アクションペアの値を見積もる好奇心駆動型戦略のガイダンスで、アプリを探索する。
  論文  参考訳（メタデータ） (2022-08-19T01:51:16Z)
• ReverseORC: Reverse Engineering of Resizable User Interface Layouts with OR-Constraints [47.164878414034234]
  ReverseORCは、多様なレイアウトタイプとその動的リサイズ動作を発見するための、新しいリバースエンジニアリング(RE)アプローチである。 複雑な動的レイアウトの振る舞いを持つ標準ではないレイアウトマネージャを再現する仕様を作成することができる。 レガシーUIの問題の検出と修正、レイアウトの振る舞いを拡張したUIの拡張、フレキシブルなUIレイアウトの作成をサポートするために使用できる。
  論文  参考訳（メタデータ） (2022-02-23T13:57:25Z)
• Projection Mapping Implementation: Enabling Direct Externalization of Perception Results and Action Intent to Improve Robot Explainability [62.03014078810652]
  既存の非言語的手がかり、例えば目視や腕の動きに関する研究は、ロボットの内部状態を正確に示さないかもしれない。 状態をロボットの動作環境に直接投影することは、直接的で正確でより健全であるという利点がある。
  論文  参考訳（メタデータ） (2020-10-05T18:16:20Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)
• ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems [107.35174238206525]
  ConvLab-2は、研究者が最先端のモデルでタスク指向の対話システムを構築することができるオープンソースのツールキットである。 分析ツールは、豊富な統計情報を示し、シミュレーションされた対話から一般的な誤りを要約する。 このインタラクティブツールは、システムと対話し、各システムコンポーネントの出力を変更することで、統合された対話システムの診断を可能にする。
  論文  参考訳（メタデータ） (2020-02-12T04:31:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。