論文の概要: Advancing Mobile UI Testing by Learning Screen Usage Semantics

• arxiv url: http://arxiv.org/abs/2505.09894v1
• Date: Thu, 15 May 2025 01:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.147377
• Title: Advancing Mobile UI Testing by Learning Screen Usage Semantics
• Title（参考訳）: 画面利用セマンティックス学習によるモバイルUIテストの改善
• Authors: Safwat Ali Khan,
• Abstract要約: 本研究は,モバイルアプリの画面利用セマンティクスを学習することで,自動UIテスト技術の向上を目指す。 また、UI設計の問題を特定し緩和することで、モバイルアプリのインターフェイスのユーザビリティも向上する。
• 参考スコア（独自算出の注目度）: 0.42303492200814446
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The demand for quality in mobile applications has increased greatly given users' high reliance on them for daily tasks. Developers work tirelessly to ensure that their applications are both functional and user-friendly. In pursuit of this, Automated Input Generation (AIG) tools have emerged as a promising solution for testing mobile applications by simulating user interactions and exploring app functionalities. However, these tools face significant challenges in navigating complex Graphical User Interfaces (GUIs), and developers often have trouble understanding their output. More specifically, AIG tools face difficulties in navigating out of certain screens, such as login pages and advertisements, due to a lack of contextual understanding which leads to suboptimal testing coverage. Furthermore, while AIG tools can provide interaction traces consisting of action and screen details, there is limited understanding of its coverage of higher level functionalities, such as logging in, setting alarms, or saving notes. Understanding these covered use cases are essential to ensure comprehensive test coverage of app functionalities. Difficulty in testing mobile UIs can lead to the design of complex interfaces, which can adversely affect users of advanced age who often face usability barriers due to small buttons, cluttered layouts, and unintuitive navigation. There exists many studies that highlight these issues, but automated solutions for improving UI accessibility needs more attention. This research seeks to enhance automated UI testing techniques by learning the screen usage semantics of mobile apps and helping them navigate more efficiently, offer more insights about tested functionalities and also improve the usability of a mobile app's interface by identifying and mitigating UI design issues.
• Abstract（参考訳）: モバイルアプリケーションの品質に対する需要は、日々のタスクに対するユーザの依存度が高くなったため、大幅に増加した。 開発者は、アプリケーションが機能的かつユーザフレンドリであることを確実にするために、疲れなく作業します。 これを追うために、AIG(Automated Input Generation)ツールが、ユーザインタラクションをシミュレートし、アプリの機能を探究することによって、モバイルアプリケーションをテストするための有望なソリューションとして登場した。 しかし、これらのツールは複雑なグラフィカルユーザインタフェース(GUI)をナビゲートする上で大きな課題に直面しており、開発者は出力を理解するのに苦労することが多い。 より具体的には、AIGツールがログインページや広告などの特定の画面から抜け出すのに困難に直面している。 さらに、AIGツールはアクションと画面の詳細で構成されたインタラクショントレースを提供することができるが、ログイン、アラームの設定、メモの保存など、より高いレベルの機能に関するカバレッジについては限定的な理解がされている。 これらのカバーされたユースケースを理解することは、アプリの機能に関する包括的なテストカバレッジを保証するために不可欠である。 モバイルUIのテストの困難さは、複雑なインターフェースの設計につながる可能性がある。これは、小さなボタン、散らばったレイアウト、直感的なナビゲーションによって、しばしばユーザビリティ障壁に直面している高齢者のユーザに悪影響を及ぼす可能性がある。 これらの問題を浮き彫りにする研究はたくさんありますが、UIアクセシビリティを改善するための自動化ソリューションにはもっと注意が必要です。 この研究は、モバイルアプリの画面使用セマンティクスを学習し、より効率的にナビゲートできるようにすることで、自動UIテスト技術を強化することを目的としている。

関連論文リスト

• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。 We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)
• Exploring Accessibility Trends and Challenges in Mobile App Development: A Study of Stack Overflow Questions [14.005637416640448]
  そこで本研究では,Stack Overflow上でのアクセシビリティに関する議論を大規模に分析し,AndroidとiOS開発者が直面するトレンドと課題を明らかにする。 この結果から,スクリーンリーダなどの補助技術の統合,アクセス可能なUI設計の確保,言語間のテキスト合成のサポート,アクセシビリティテストの実行など,いくつかの課題が明らかになった。 開発者プラクティス,研究方向,ツールサポート,教育リソースの改善を促進する上で,私たちの発見を期待する。
  論文  参考訳（メタデータ） (2024-09-12T11:13:24Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• MotorEase: Automated Detection of Motor Impairment Accessibility Issues in Mobile App UIs [8.057618278428494]
  MotorEaseは、モバイルアプリのUIにおけるアクセシビリティの問題を特定し、運動不足のユーザに影響を与える。 コンピュータビジョンとテキスト処理技術を適用して、アプリUI画面のセマンティック理解を可能にする。 違反を90%の精度で識別でき、偽陽性率は9%未満である。
  論文  参考訳（メタデータ） (2024-03-20T15:53:07Z)
• Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
  ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。 本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
  論文  参考訳（メタデータ） (2023-10-20T14:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。