Fugu-MT 論文翻訳(概要): Advancing Mobile UI Testing by Learning Screen Usage Semantics

論文の概要: Advancing Mobile UI Testing by Learning Screen Usage Semantics

arxiv url: http://arxiv.org/abs/2505.09894v1
Date: Thu, 15 May 2025 01:40:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-16 22:29:06.147377
Title: Advancing Mobile UI Testing by Learning Screen Usage Semantics
Title（参考訳）: 画面利用セマンティックス学習によるモバイルUIテストの改善
Authors: Safwat Ali Khan,
Abstract要約: 本研究は,モバイルアプリの画面利用セマンティクスを学習することで,自動UIテスト技術の向上を目指す。また、UI設計の問題を特定し緩和することで、モバイルアプリのインターフェイスのユーザビリティも向上する。
参考スコア（独自算出の注目度）: 0.42303492200814446
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The demand for quality in mobile applications has increased greatly given users' high reliance on them for daily tasks. Developers work tirelessly to ensure that their applications are both functional and user-friendly. In pursuit of this, Automated Input Generation (AIG) tools have emerged as a promising solution for testing mobile applications by simulating user interactions and exploring app functionalities. However, these tools face significant challenges in navigating complex Graphical User Interfaces (GUIs), and developers often have trouble understanding their output. More specifically, AIG tools face difficulties in navigating out of certain screens, such as login pages and advertisements, due to a lack of contextual understanding which leads to suboptimal testing coverage. Furthermore, while AIG tools can provide interaction traces consisting of action and screen details, there is limited understanding of its coverage of higher level functionalities, such as logging in, setting alarms, or saving notes. Understanding these covered use cases are essential to ensure comprehensive test coverage of app functionalities. Difficulty in testing mobile UIs can lead to the design of complex interfaces, which can adversely affect users of advanced age who often face usability barriers due to small buttons, cluttered layouts, and unintuitive navigation. There exists many studies that highlight these issues, but automated solutions for improving UI accessibility needs more attention. This research seeks to enhance automated UI testing techniques by learning the screen usage semantics of mobile apps and helping them navigate more efficiently, offer more insights about tested functionalities and also improve the usability of a mobile app's interface by identifying and mitigating UI design issues.
Abstract（参考訳）: モバイルアプリケーションの品質に対する需要は、日々のタスクに対するユーザの依存度が高くなったため、大幅に増加した。開発者は、アプリケーションが機能的かつユーザフレンドリであることを確実にするために、疲れなく作業します。これを追うために、AIG(Automated Input Generation)ツールが、ユーザインタラクションをシミュレートし、アプリの機能を探究することによって、モバイルアプリケーションをテストするための有望なソリューションとして登場した。しかし、これらのツールは複雑なグラフィカルユーザインタフェース(GUI)をナビゲートする上で大きな課題に直面しており、開発者は出力を理解するのに苦労することが多い。より具体的には、AIGツールがログインページや広告などの特定の画面から抜け出すのに困難に直面している。さらに、AIGツールはアクションと画面の詳細で構成されたインタラクショントレースを提供することができるが、ログイン、アラームの設定、メモの保存など、より高いレベルの機能に関するカバレッジについては限定的な理解がされている。これらのカバーされたユースケースを理解することは、アプリの機能に関する包括的なテストカバレッジを保証するために不可欠である。モバイルUIのテストの困難さは、複雑なインターフェースの設計につながる可能性がある。これは、小さなボタン、散らばったレイアウト、直感的なナビゲーションによって、しばしばユーザビリティ障壁に直面している高齢者のユーザに悪影響を及ぼす可能性がある。これらの問題を浮き彫りにする研究はたくさんありますが、UIアクセシビリティを改善するための自動化ソリューションにはもっと注意が必要です。この研究は、モバイルアプリの画面使用セマンティクスを学習し、より効率的にナビゲートできるようにすることで、自動UIテスト技術を強化することを目的としている。

関連論文リスト

Screencast-Based Analysis of User-Perceived GUI Responsiveness [53.53923672866705]
Toolsはモバイルのスクリーンキャストから直接GUIの応答性を測定するテクニックである。コンピュータービジョンを使ってユーザーインタラクションを検出し、フレームレベルの視覚変化を分析し、2つの重要なメトリクスを計算する。ツールはインダストリアルテストパイプラインにデプロイされ、毎日数千のスクリーンキャストを分析している。
論文参考訳（メタデータ） (2025-08-02T12:13:50Z)
MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文参考訳（メタデータ） (2025-07-08T07:07:53Z)
AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。 AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-06-02T07:30:29Z)
GUI-explorer: Autonomous Exploration and Mining of Transition-aware Knowledge for GUI Agent [66.34801160469067]
MLLMはUIコンポーネントの誤解釈と古い知識の2つの大きな問題に悩まされている。本稿では,2つの基本的なメカニズムを組み込んだトレーニング不要なGUIエージェントであるGUI-Explorerを提案する。 SPA-Benchでは53.7%、AndroidWorldでは47.4%のタスク成功率で、GUI-ExplorerはSOTAエージェントよりも大幅に改善されている。
論文参考訳（メタデータ） (2025-05-22T16:01:06Z)
Creating General User Models from Computer Use [62.91116265732001]
本稿では,コンピュータとのインタラクションを観察することでユーザについて学習する汎用ユーザモデル(GUM)のアーキテクチャを提案する。 GUMは、ユーザ(例えばデバイスのスクリーンショット)の非構造化観察を入力として受け取り、ユーザの知識と好みをキャプチャする信頼度重み付け命題を構築する。
論文参考訳（メタデータ） (2025-05-16T04:00:31Z)
GUI Agents: A Survey [129.94551809688377]
グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
論文参考訳（メタデータ） (2024-12-18T04:48:28Z)
Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-12-05T18:58:26Z)
SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。 We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
論文参考訳（メタデータ） (2024-10-19T17:28:48Z)
Exploring Accessibility Trends and Challenges in Mobile App Development: A Study of Stack Overflow Questions [14.005637416640448]
そこで本研究では,Stack Overflow上でのアクセシビリティに関する議論を大規模に分析し,AndroidとiOS開発者が直面するトレンドと課題を明らかにする。この結果から,スクリーンリーダなどの補助技術の統合,アクセス可能なUI設計の確保,言語間のテキスト合成のサポート,アクセシビリティテストの実行など,いくつかの課題が明らかになった。開発者プラクティス,研究方向,ツールサポート,教育リソースの改善を促進する上で,私たちの発見を期待する。
論文参考訳（メタデータ） (2024-09-12T11:13:24Z)
Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
論文参考訳（メタデータ） (2024-06-12T02:43:19Z)
MotorEase: Automated Detection of Motor Impairment Accessibility Issues in Mobile App UIs [8.057618278428494]
MotorEaseは、モバイルアプリのUIにおけるアクセシビリティの問題を特定し、運動不足のユーザに影響を与える。コンピュータビジョンとテキスト処理技術を適用して、アプリUI画面のセマンティック理解を可能にする。違反を90%の精度で識別でき、偽陽性率は9%未満である。
論文参考訳（メタデータ） (2024-03-20T15:53:07Z)
Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
論文参考訳（メタデータ） (2023-10-20T14:04:04Z)
Towards Automated Accessibility Report Generation for Mobile Apps [14.908672785900832]
アプリケーションアクセシビリティーレポート全体を生成するシステムを提案する。様々なデータ収集方法(アプリクローリング、手動記録など)と既存のアクセシビリティスキャナを組み合わせる。
論文参考訳（メタデータ） (2023-09-29T19:05:11Z)
ActionBert: Leveraging User Actions for Semantic Understanding of User Interfaces [12.52699475631247]
ActionBertと呼ばれる新しいトレーニング済みのUI表現モデルを紹介します。本手法は,ユーザインタラクショントレースにおける視覚的,言語的,ドメイン特有の特徴を活用し,uiとそのコンポーネントの汎用的な特徴表現を事前学習するように設計されている。実験により、提案するactionbertモデルは、下流タスク全体のマルチモーダルベースラインを最大15.5%上回ることがわかった。
論文参考訳（メタデータ） (2020-12-22T20:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。