論文の概要: Artificial intelligence for context-aware visual change detection in software test automation
- arxiv url: http://arxiv.org/abs/2405.00874v1
- Date: Wed, 1 May 2024 21:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 18:33:31.733847
- Title: Artificial intelligence for context-aware visual change detection in software test automation
- Title（参考訳）: ソフトウェアテスト自動化における文脈認識型視覚変化検出のための人工知能
- Authors: Milad Moradi, Ke Yan, David Colwell, Rhona Asgari,
- Abstract要約: 本稿では,ソフトウェアテスト自動化における視覚的変化検出のためのグラフベースの新しい手法を提案する。
本手法は,ソフトウェアスクリーンショットからUI制御を正確に識別し,制御間の文脈的・空間的関係を表すグラフを構築する。
様々な単純で複雑なテストシナリオにおいて、視覚的ソフトウェアの変更を正確に検出できる。
- 参考スコア（独自算出の注目度）: 5.174422378856116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated software testing is integral to the software development process, streamlining workflows and ensuring product reliability. Visual testing within this context, especially concerning user interface (UI) and user experience (UX) validation, stands as one of crucial determinants of overall software quality. Nevertheless, conventional methods like pixel-wise comparison and region-based visual change detection fall short in capturing contextual similarities, nuanced alterations, and understanding the spatial relationships between UI elements. In this paper, we introduce a novel graph-based method for visual change detection in software test automation. Leveraging a machine learning model, our method accurately identifies UI controls from software screenshots and constructs a graph representing contextual and spatial relationships between the controls. This information is then used to find correspondence between UI controls within screenshots of different versions of a software. The resulting graph encapsulates the intricate layout of the UI and underlying contextual relations, providing a holistic and context-aware model. This model is finally used to detect and highlight visual regressions in the UI. Comprehensive experiments on different datasets showed that our change detector can accurately detect visual software changes in various simple and complex test scenarios. Moreover, it outperformed pixel-wise comparison and region-based baselines by a large margin in more complex testing scenarios. This work not only contributes to the advancement of visual change detection but also holds practical implications, offering a robust solution for real-world software test automation challenges, enhancing reliability, and ensuring the seamless evolution of software interfaces.
- Abstract（参考訳）: 自動化されたソフトウェアテストは、ソフトウェア開発プロセスに不可欠なもので、ワークフローを合理化し、製品の信頼性を保証する。
このコンテキストにおけるビジュアルテスト、特にユーザインターフェース(UI)とユーザエクスペリエンス(UX)の検証は、ソフトウェア全体の品質の重要な決定要因の1つです。
それにもかかわらず、ピクセルワイズ比較や領域ベースの視覚変化検出のような従来の手法は、文脈的類似性、ニュアンス付き変化、UI要素間の空間的関係の理解において不足している。
本稿では,ソフトウェアテスト自動化における視覚的変化検出のためのグラフベースの新しい手法を提案する。
機械学習モデルを用いて、ソフトウェアスクリーンショットからUI制御を正確に識別し、制御間の文脈的・空間的関係を表すグラフを構築する。
この情報は、ソフトウェアの異なるバージョンのスクリーンショット内のUIコントロール間の対応を見つけるために使用される。
結果として得られるグラフは、UIと基盤となるコンテキスト関係の複雑なレイアウトをカプセル化し、全体的なコンテキスト認識モデルを提供する。
このモデルは最終的に、UIの視覚的回帰を検出し、強調するために使用される。
異なるデータセットに対する総合的な実験により、我々の変更検出器は、様々な単純で複雑なテストシナリオにおける視覚的ソフトウェア変化を正確に検出できることがわかった。
さらに、より複雑なテストシナリオにおいて、ピクセルワイド比較とリージョンベースのベースラインを大きなマージンで上回りました。
実際のソフトウェアテスト自動化の課題に対する堅牢なソリューションを提供し、信頼性を高め、ソフトウェアインターフェースのシームレスな進化を保証する。
関連論文リスト
- UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z) - GUI Testing Arena: A Unified Benchmark for Advancing Autonomous GUI Testing Agent [24.97846085313314]
自動GUIテストのプロセス全体を評価するための,形式化された総合的な環境を提案する。
テストプロセスは、テスト意図の生成、テストタスクの実行、GUI欠陥検出という、3つの重要なサブタスクに分割します。
実際のモバイルアプリケーション、人工的に注入された欠陥を持つモバイルアプリケーション、合成データという3つのデータタイプを使用して、異なるモデルの性能を評価する。
論文 参考訳（メタデータ） (2024-12-24T13:41:47Z) - Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining [67.87810796668981]
インフォメーション・インフォメーション・インフォメーション・クロッピング(ISC)と自己精製デュアルラーニング(SRDL)
Irisは850KのGUIアノテーションだけで、複数のベンチマークで最先端のパフォーマンスを実現している。
これらの改善は、WebとOSエージェントの両方の下流タスクで大幅に向上した。
論文 参考訳（メタデータ） (2024-12-13T18:40:10Z) - ViewDelta: Text-Prompted Change Detection in Unaligned Images [0.0]
ユーザが提供するテキストに関連する変更のバイナリセグメンテーションを出力するために,不整合画像とテキストプロンプトを初めて利用する新しい変更検出手法を提案する。
私たちのアーキテクチャは、多様な変更検出ユースケースをまたいだ柔軟な検出を可能にするだけでなく、確立したベンチマーク上での最先端のパフォーマンスも実現します。
論文 参考訳（メタデータ） (2024-12-10T15:51:17Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。
提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。
これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z) - FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。
FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。
FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
論文 参考訳（メタデータ） (2024-04-23T03:42:14Z) - Gamified GUI testing with Selenium in the IntelliJ IDE: A Prototype Plugin [0.559239450391449]
本稿では,IntelliJ IDEA用のガミフィケーションプラグインのプロトタイプであるGIPGUTについて述べる。
このプラグインは、達成、報酬、プロファイルのカスタマイズを通じて、単調で退屈なタスクにテスタのエンゲージメントを高める。
その結果,ゲーミフィケーション要素の高利用性と肯定的な受容性が示唆された。
論文 参考訳（メタデータ） (2024-03-14T20:11:11Z) - Reliable Shot Identification for Complex Event Detection via
Visual-Semantic Embedding [72.9370352430965]
本稿では,映像中の事象検出のための視覚的意味的誘導損失法を提案する。
カリキュラム学習に動機付け,高い信頼性の事例で分類器の訓練を開始するために,負の弾性正規化項を導入する。
提案する非ネット正規化問題の解法として,代替最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-12T11:46:56Z) - Automated User Experience Testing through Multi-Dimensional Performance
Impact Analysis [0.0]
新規な自動ユーザエクスペリエンステスト手法を提案する。
コードの変更が時間単位とシステムテストにどう影響するかを学び、この情報に基づいてユーザエクスペリエンスの変更を推定します。
当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
論文 参考訳（メタデータ） (2021-04-08T01:18:01Z) - Applied Awareness: Test-Driven GUI Development using Computer Vision and
Cryptography [0.0]
テスト駆動開発は非現実的であり、一般的には、黄金の画像を生成したり、インタラクティブなテストシナリオを構築するためにGUIの初期実装を必要とします。
バックエンド通信の観点でGUIプレゼンテーションを解釈する,新しいかつ即時適用可能な手法を実証する。
このバックエンド通信は、プラットフォームに依存したUIアベイランスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避する。
論文 参考訳（メタデータ） (2020-06-05T22:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。