論文の概要: Applied Awareness: Test-Driven GUI Development using Computer Vision and
Cryptography
- arxiv url: http://arxiv.org/abs/2006.03725v1
- Date: Fri, 5 Jun 2020 22:46:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 04:19:15.639185
- Title: Applied Awareness: Test-Driven GUI Development using Computer Vision and
Cryptography
- Title(参考訳): Applied Awareness:コンピュータビジョンと暗号を用いたテスト駆動GUI開発
- Authors: Donald Beaver
- Abstract要約: テスト駆動開発は非現実的であり、一般的には、黄金の画像を生成したり、インタラクティブなテストシナリオを構築するためにGUIの初期実装を必要とします。
バックエンド通信の観点でGUIプレゼンテーションを解釈する,新しいかつ即時適用可能な手法を実証する。
このバックエンド通信は、プラットフォームに依存したUIアベイランスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical user interface testing is significantly challenging, and automating
it even more so. Test-driven development is impractical: it generally requires
an initial implementation of the GUI to generate golden images or to construct
interactive test scenarios, and subsequent maintenance is costly. While
computer vision has been applied to several aspects of GUI testing, we
demonstrate a novel and immediately applicable approach of interpreting GUI
presentation in terms of backend communications, modeling "awareness" in the
fashion employed by cryptographic proofs of security. This focus on backend
communication circumvents deficiencies in typical testing methodologies that
rely on platform-dependent UI affordances or accessibility features. Our
interdisciplinary work is ready for off-the-shelf practice: we report
self-contained, practical implementation with both online and offline
validation, using simple designer specifications at the outset and specifically
avoiding any requirements for a bootstrap implementation or golden images. In
addition to practical implementation, ties to formal verification methods in
cryptography are explored and explained, providing fertile perspectives on
assurance in UI and interpretability in AI.
- Abstract(参考訳): グラフィカルなユーザインターフェーステストは極めて困難で、さらに自動化されています。
テスト駆動開発は非現実的であり、一般的に、黄金の画像を生成するか、インタラクティブなテストシナリオを構築するためにGUIの初期実装が必要である。
コンピュータビジョンはGUIテストのいくつかの側面に適用されているが、バックエンド通信の観点でGUIプレゼンテーションを解釈し、セキュリティの暗号的証明が採用する手法で「認識」をモデル化する、新しい、即時適用可能なアプローチを実証する。
これは、プラットフォーム依存のuiアプライアンスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避するバックエンド通信にフォーカスします。
オンラインとオフラインの両方のバリデーションで自己完結した実践的な実装を報告し、最初からシンプルなデザイナ仕様を使用して、ブートストラップ実装やゴールデンイメージの要件を特に回避しています。
実用的な実装に加えて、暗号化における形式的検証手法との関わりを探求し、aiにおけるuiの保証と解釈可能性に関する豊かな視点を提供する。
関連論文リスト
- Comprehensive Cognitive LLM Agent for Smartphone GUI Automation [69.32269322774543]
大規模言語モデル(LLM)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
我々は、包括的環境認識(CEP)と条件付き行動予測(CAP)という2つの新しいアプローチで、包括的包括的アンダーラインAgent(CoCo-Agent)を提案する。
本稿では, AITW と META-GUI ベンチマークにおいて, 現実的なシナリオにおいて有望な性能を示す新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-19T08:29:03Z) - ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。
本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-20T15:28:38Z) - Vision-Based Mobile App GUI Testing: A Survey [30.49909140195575]
ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。
本研究は226論文における最先端技術に関する総合的な研究であり,78論文は視覚に基づく研究である。
論文 参考訳(メタデータ) (2023-10-20T14:04:04Z) - From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳(メタデータ) (2023-05-31T23:39:18Z) - An Empirical Investigation into the Use of Image Captioning for
Automated Software Documentation [17.47243004709207]
本稿では,グラフィカルユーザインタフェースとソフトウェアの機能的自然言語記述との関係について検討する。
人気の高いAndroidアプリケーションのスクリーンショット10,204枚に対して45,998個の説明からなる,関数型GUI記述の大規模なデータセットを収集し,分析し,オープンソースにしています。
GUIの表現可能性に関する洞察を得るため、4つのニューラルイメージキャプションモデルを用いて、スクリーンショットを入力として提供した場合に、様々な粒度の自然言語記述を予測する能力について検討する。
論文 参考訳(メタデータ) (2023-01-03T17:15:18Z) - Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。
本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。
事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
論文 参考訳(メタデータ) (2022-04-29T03:53:54Z) - MONAI Label: A framework for AI-assisted Interactive Labeling of 3D
Medical Images [49.664220687980006]
注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。
本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
論文 参考訳(メタデータ) (2022-03-23T12:33:11Z) - X2T: Training an X-to-Text Typing Interface with Online Learning from
User Feedback [83.95599156217945]
ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。
標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。
このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
論文 参考訳(メタデータ) (2022-03-04T00:07:20Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳(メタデータ) (2021-09-07T21:24:36Z) - Object Detection for Graphical User Interface: Old Fashioned or Deep
Learning or a Combination? [21.91118062303175]
我々は,50k以上のGUI画像上で7つの代表的GUI要素検出手法について,大規模な実証的研究を行った。
本研究は、解決すべき技術的課題に光を当て、新しいGUI要素検出手法の設計について報告する。
25,000個のGUI画像に対する評価は,GUI要素検出における最先端性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2020-08-12T06:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。