論文の概要: Applied Awareness: Test-Driven GUI Development using Computer Vision and Cryptography

• arxiv url: http://arxiv.org/abs/2006.03725v1
• Date: Fri, 5 Jun 2020 22:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 04:19:15.639185
• Title: Applied Awareness: Test-Driven GUI Development using Computer Vision and Cryptography
• Title（参考訳）: Applied Awareness:コンピュータビジョンと暗号を用いたテスト駆動GUI開発
• Authors: Donald Beaver
• Abstract要約: テスト駆動開発は非現実的であり、一般的には、黄金の画像を生成したり、インタラクティブなテストシナリオを構築するためにGUIの初期実装を必要とします。 バックエンド通信の観点でGUIプレゼンテーションを解釈する,新しいかつ即時適用可能な手法を実証する。 このバックエンド通信は、プラットフォームに依存したUIアベイランスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical user interface testing is significantly challenging, and automating it even more so. Test-driven development is impractical: it generally requires an initial implementation of the GUI to generate golden images or to construct interactive test scenarios, and subsequent maintenance is costly. While computer vision has been applied to several aspects of GUI testing, we demonstrate a novel and immediately applicable approach of interpreting GUI presentation in terms of backend communications, modeling "awareness" in the fashion employed by cryptographic proofs of security. This focus on backend communication circumvents deficiencies in typical testing methodologies that rely on platform-dependent UI affordances or accessibility features. Our interdisciplinary work is ready for off-the-shelf practice: we report self-contained, practical implementation with both online and offline validation, using simple designer specifications at the outset and specifically avoiding any requirements for a bootstrap implementation or golden images. In addition to practical implementation, ties to formal verification methods in cryptography are explored and explained, providing fertile perspectives on assurance in UI and interpretability in AI.
• Abstract（参考訳）: グラフィカルなユーザインターフェーステストは極めて困難で、さらに自動化されています。 テスト駆動開発は非現実的であり、一般的に、黄金の画像を生成するか、インタラクティブなテストシナリオを構築するためにGUIの初期実装が必要である。 コンピュータビジョンはGUIテストのいくつかの側面に適用されているが、バックエンド通信の観点でGUIプレゼンテーションを解釈し、セキュリティの暗号的証明が採用する手法で「認識」をモデル化する、新しい、即時適用可能なアプローチを実証する。 これは、プラットフォーム依存のuiアプライアンスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避するバックエンド通信にフォーカスします。 オンラインとオフラインの両方のバリデーションで自己完結した実践的な実装を報告し、最初からシンプルなデザイナ仕様を使用して、ブートストラップ実装やゴールデンイメージの要件を特に回避しています。 実用的な実装に加えて、暗号化における形式的検証手法との関わりを探求し、aiにおけるuiの保証と解釈可能性に関する豊かな視点を提供する。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
  初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。 我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。 UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
  論文  参考訳（メタデータ） (2024-10-21T17:39:49Z)
• Self-Elicitation of Requirements with Automated GUI Prototyping [12.281152349482024]
  SERGUIは、自動GUIプロトタイピングアシスタントに基づく、要求の自己適用を可能にする新しいアプローチである。 SerGUIは、NLR(Natural Language Requirements)ベースのGUI検索を通じて、大規模なGUIリポジトリに具現化された膨大なプロトタイピング知識を活用する。 提案手法の有効性を評価するため,予備評価を行った。
  論文  参考訳（メタデータ） (2024-09-24T18:40:38Z)
• UNIT: Unifying Image and Text Recognition in One Vision Encoder [51.140564856352825]
  UNITは、単一のモデル内で画像とテキストの認識を統一することを目的とした、新しいトレーニングフレームワークである。 文書関連タスクにおいて,UNITが既存の手法を著しく上回ることを示す。 注目すべきなのは、UNITはオリジナルのビジョンエンコーダアーキテクチャを保持しており、推論とデプロイメントの点で費用がかからないことだ。
  論文  参考訳（メタデータ） (2024-09-06T08:02:43Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach [55.762798168494726]
  グラフィカルユーザインタフェース(GUI)のプロトタイプにおいて,機能的NLベースの要求の実装を検証するための新しい言語モデル(LLM)ベースのアプローチを提案する。 提案手法は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-12T11:59:26Z)
• Gamified GUI testing with Selenium in the IntelliJ IDE: A Prototype Plugin [0.559239450391449]
  本稿では,IntelliJ IDEA用のガミフィケーションプラグインのプロトタイプであるGIPGUTについて述べる。 このプラグインは、達成、報酬、プロファイルのカスタマイズを通じて、単調で退屈なタスクにテスタのエンゲージメントを高める。 その結果,ゲーミフィケーション要素の高利用性と肯定的な受容性が示唆された。
  論文  参考訳（メタデータ） (2024-03-14T20:11:11Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
  ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。 本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
  論文  参考訳（メタデータ） (2023-10-20T14:04:04Z)
• Effective, Platform-Independent GUI Testing via Image Embedding and Reinforcement Learning [15.458315113767686]
  アプリケーションテストに有効なプラットフォームに依存しないアプローチであるPIRLTestを提案する。 コンピュータビジョンと強化学習技術を利用して、新しいシナジスティックな方法で自動テストを行う。 PILTestは、Q-networkを使用して特定の状態-アクションペアの値を見積もる好奇心駆動型戦略のガイダンスで、アプリを探索する。
  論文  参考訳（メタデータ） (2022-08-19T01:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。