論文の概要: Seeing is Believing: Vision-driven Non-crash Functional Bug Detection for Mobile Apps

• arxiv url: http://arxiv.org/abs/2407.03037v2
• Date: Wed, 04 Dec 2024 08:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:40.929101
• Title: Seeing is Believing: Vision-driven Non-crash Functional Bug Detection for Mobile Apps
• Title（参考訳）: Seeing is Believing: モバイルアプリのためのビジョン駆動型非クラッシュ機能バグ検出
• Authors: Zhe Liu, Cheng Li, Chunyang Chen, Junjie Wang, Mengzhuo Chen, Boyu Wu, Yawen Wang, Jun Hu, Qing Wang,
• Abstract要約: 本稿では,非クラッシュな機能的バグを検出するための,視覚駆動型多エージェント協調GUIテスト手法を提案する。 590の非クラッシュバグに対してTridentを評価し,12のベースラインと比較したところ,平均リコールと精度が14%-112%,108%-147%向上した。
• 参考スコア（独自算出の注目度）: 26.96558418166514
• License:
• Abstract: Mobile app GUI (Graphical User Interface) pages now contain rich visual information, with the visual semantics of each page helping users understand the application logic. However, these complex visual and functional logic present new challenges to software testing. Existing automated GUI testing methods, constrained by the lack of reliable testing oracles, are limited to detecting crash bugs with obvious abnormal signals. Consequently, many non-crash functional bugs, ranging from unexpected behaviors to logical errors, often evade detection by current techniques. While these non-crash functional bugs can exhibit visual cues that serve as potential testing oracles, they often entail a sequence of screenshots, and detecting them necessitates an understanding of the operational logic among GUI page transitions, which is challenging traditional techniques. Considering the remarkable performance of Multimodal Large Language Models (MLLM) in visual and language understanding, this paper proposes Trident, a novel vision-driven, multi-agent collaborative automated GUI testing approach for detecting non-crash functional bugs. It comprises three agents: Explorer, Monitor, and Detector, to guide the exploration, oversee the testing progress, and spot issues. We also address several challenges, i.e., align visual and textual information for MLLM input, achieve functionality-oriented exploration, and infer test oracles for non-crash bugs, to enhance the performance of functionality bug detection. We evaluate Trident on 590 non-crash bugs and compare it with 12 baselines, it can achieve more than 14%-112% and 108%-147% boost in average recall and precision compared with the best baseline. The ablation study further proves the contribution of each module. Moreover, Trident identifies 43 new bugs on Google Play, of which 31 have been fixed.
• Abstract（参考訳）: モバイルアプリGUI (Graphical User Interface) ページにはリッチな視覚情報が含まれており、各ページの視覚的セマンティクスがアプリケーションロジックの理解に役立っている。 しかし、これらの複雑な視覚的・機能的ロジックは、ソフトウェアテストに新たな課題をもたらす。 既存の自動GUIテストメソッドは、信頼性の高いテストオラクルの欠如に制約されており、明らかな異常信号によるクラッシュバグの検出に制限されている。 その結果、予期せぬ振る舞いから論理的エラーまで、多くの非クラッシュな機能的バグが、しばしば現在の技術による検出を回避している。 これらの非クラッシュな機能的バグは、潜在的なテストオラクルとして機能する視覚的手がかりを示すことができるが、スクリーンショットのシーケンスを伴い、GUIページ遷移間の操作ロジックを理解する必要があることを検知する。 本稿では,視覚および言語理解におけるMLLM(Multimodal Large Language Models)の顕著な性能を考慮し,非クラッシュな機能的バグを検出するための視覚駆動型多エージェント協調GUIテスト手法であるTridentを提案する。 エクスプローラー、モニター、ディテクターの3つのエージェントからなり、探索を案内し、テストの進捗を監督し、問題を見つけ出す。 また、MLLM入力のための視覚情報とテキスト情報の整列、機能指向探索の実現、非クラッシュバグに対するテストオーラクルの推論、機能バグ検出の性能向上など、いくつかの課題にも対処する。 我々は590の非クラッシュバグに対してTridentを評価し、12のベースラインと比較し、最高のベースラインと比較して平均リコールと精度が14%-112%、そして108%-147%向上する。 アブレーション研究は、各加群の寄与をさらに証明している。 さらにTridentは、Google Playの43の新しいバグを特定し、そのうち31が修正されている。

関連論文リスト

• Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
  オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
  論文  参考訳（メタデータ） (2024-12-05T18:58:27Z)
• VDebugger: Harnessing Execution Feedback for Debugging Visual Programs [103.61860743476933]
  V Debuggerは、視覚プログラムのローカライズとデバッギングのために、段階的に実行を追跡することで訓練された、批評家とリファインダーのフレームワークである。 Vデバッガは、詳細な実行フィードバックを活用してプログラムエラーを特定し、修正する。 6つのデータセットの評価は、Vデバッガの有効性を示し、ダウンストリームタスクの精度が最大3.2%向上したことを示している。
  論文  参考訳（メタデータ） (2024-06-19T11:09:16Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models [63.946809247201905]
  フェーススプーフィングと偽造検出におけるMLLMの能力を評価するための新しいベンチマーク、ShielDを導入する。 我々は、これらの2つの顔セキュリティタスクにおいて、マルチモーダル顔データを評価するために、真/偽/複数選択の質問を設計する。 その結果,MLLMは顔セキュリティ領域において大きな可能性を秘めていることがわかった。
  論文  参考訳（メタデータ） (2024-02-06T17:31:36Z)
• Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI Testing via Functionality-aware Decisions [23.460051600514806]
  GPTDroidは、モバイルアプリ向けのQ&AベースのGUIテスティングフレームワークである。 機能認識型メモリプロンプト機構を導入する。 アクティビティのカバレッジが32%向上し、より高速な速度で31%のバグを検出する。
  論文  参考訳（メタデータ） (2023-10-24T12:30:26Z)
• Prompting Is All You Need: Automated Android Bug Replay with Large Language Models [28.69675481931385]
  本稿では,バグ報告から迅速なエンジニアリングを通じてバグを自動的に再現する,新しい軽量なアプローチであるAdbGPTを提案する。 AdbGPTは、LLMから人間の知識と論理的推論を引き出すために、少数ショットの学習と連鎖推論を活用する。 この評価は,253.6秒で81.3%のバグレポートを再現するAdbGPTの有効性と有効性を示すものである。
  論文  参考訳（メタデータ） (2023-06-03T03:03:52Z)
• Chatting with GPT-3 for Zero-Shot Human-Like Mobile Automated GUI Testing [23.460051600514806]
  GPTDroid を提案し,GUI ページ情報を LLM に渡してテストスクリプトを抽出することにより,大規模言語モデルにモバイルアプリとのチャットを依頼する。 そこで我々はGUIページの静的コンテキストと反復テストプロセスの動的コンテキストを抽出する。 Google Playの86のアプリ上でGPTDroidを評価し、そのアクティビティカバレッジは71%で、最高のベースラインよりも32%高く、最高のベースラインよりも高速で36%多くのバグを検出することができます。
  論文  参考訳（メタデータ） (2023-05-16T13:46:52Z)
• ADPTriage: Approximate Dynamic Programming for Bug Triage [0.0]
  オンラインバグトリアージタスクのためのマルコフ決定プロセス(MDP)モデルを開発した。 私たちはADPTriageと呼ばれるADPベースのバグトリアージソリューションを提供しています。 以上の結果から, 代入精度と固定時間の観点から, ミオピックアプローチよりも有意な改善が見られた。
  論文  参考訳（メタデータ） (2022-11-02T04:42:21Z)
• Infrared: A Meta Bug Detector [10.541969253100815]
  我々はメタバグ検出と呼ばれる新しいアプローチを提案し、既存の学習ベースのバグ検出よりも3つの重要な利点を提供している。 我々のメタバグ検出装置(MBD)は,ヌルポインタの参照,配列インデックスのアウト・オブ・バウンド,ファイルハンドルのリーク,さらには並列プログラムにおけるデータ競合など,さまざまなバグの発見に有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-18T09:08:51Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• Beyond Accuracy: Behavioral Testing of NLP models with CheckList [66.42971817954806]
  CheckList は NLP モデルをテストするためのタスクに依存しない方法論である。 CheckListには、包括的なテストのアイデアを促進する一般的な言語機能とテストタイプのマトリックスが含まれている。 ユーザスタディでは、CheckListのNLP実践者が2倍の数のテストを作成し、それのないユーザの約3倍のバグを発見しました。
  論文  参考訳（メタデータ） (2020-05-08T15:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。