論文の概要: Screencast-Based Analysis of User-Perceived GUI Responsiveness
- arxiv url: http://arxiv.org/abs/2508.01337v1
- Date: Sat, 02 Aug 2025 12:13:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 14:20:44.24322
- Title: Screencast-Based Analysis of User-Perceived GUI Responsiveness
- Title（参考訳）: スクリーンキャストによるユーザ認識GUI応答性の解析
- Authors: Wei Liu, Linqiang Guo, Yi Wen Heng, Chenglin Li, Tse-Hsun, Chen, Ahmed E. Hassan,
- Abstract要約: Toolsはモバイルのスクリーンキャストから直接GUIの応答性を測定するテクニックである。
コンピュータービジョンを使ってユーザーインタラクションを検出し、フレームレベルの視覚変化を分析し、2つの重要なメトリクスを計算する。
ツールはインダストリアルテストパイプラインにデプロイされ、毎日数千のスクリーンキャストを分析している。
- 参考スコア（独自算出の注目度）: 53.53923672866705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI responsiveness is critical for a positive user experience in mobile applications. Even brief delays in visual feedback can frustrate users and lead to negative reviews. However, detecting and quantifying such user-perceived delays remains challenging, especially in industrial testing pipelines that evaluate thousands of apps daily across diverse devices and OS versions. Existing techniques based on static analysis or system metrics, while useful, may not accurately capture user-perceived issues or scale effectively. In this experience paper, we present \tool, a lightweight and black-box technique that measures GUI responsiveness directly from mobile screencasts -- video recordings captured during automated GUI testing. \tool detects user interactions and visual delays, helping developers identify GUI performance issues that affect the user experience. It uses computer vision to detect user interactions and analyzes frame-level visual changes to compute two key metrics: response time (from user action to first visual feedback) and finish time (until visual feedback stabilizes). We evaluate \tool on a manually annotated benchmark of 2,458 interactions from 64 popular Android apps. \tool achieves 0.96 precision and 0.93 recall in detecting interactions, and measures response and finish times within 50\,ms and 100\,ms error, respectively, for over 89\% of interactions. The tool has been deployed in an industrial testing pipeline and analyzes thousands of screencasts daily, uncovering responsiveness issues missed by traditional tools and improving performance debugging efficiency.
- Abstract（参考訳）: GUIの応答性は、モバイルアプリケーションにおけるポジティブなユーザーエクスペリエンスにとって重要である。
視覚フィードバックの短時間の遅延でさえ、ユーザをイライラさせ、ネガティブなレビューにつながる可能性がある。
しかし、特に様々なデバイスやOSバージョンで毎日何千ものアプリを評価している産業用テストパイプラインでは、そのようなユーザの認識する遅延を検出して定量化することは依然として難しい。
静的分析やシステムメトリクスに基づく既存のテクニックは、有用ではあるが、ユーザの認識した問題を正確に捉えたり、効果的にスケールすることができない。
本稿では,モバイルスクリーンキャストから直接GUI応答性を測定する軽量でブラックボックス技術である‘tool’を紹介する。
\toolはユーザインタラクションと視覚的な遅延を検出し、開発者がユーザエクスペリエンスに影響を与えるGUIパフォーマンスの問題を特定するのに役立つ。
コンピュータビジョンを使ってユーザインタラクションを検出し、フレームレベルの視覚的変化を分析して、2つの重要なメトリクスを計算する。
64のAndroidアプリからの2,458のインタラクションを手動でアノテートしたベンチマークで, \toolを評価した。
反応の精度は0.96でリコールは0.93で、反応時間と終了時間はそれぞれ50\,msと100\,msの誤差で89\%を超える。
このツールは、産業用テストパイプラインにデプロイされ、毎日何千ものスクリーンキャストを分析し、従来のツールが見逃した応答性の問題を明らかにし、パフォーマンスのデバッグ効率を改善している。
関連論文リスト
- What Users Value and Critique: Large-Scale Analysis of User Feedback on AI-Powered Mobile Apps [2.352412885878654]
本稿では,AIを活用したモバイルアプリにおけるユーザフィードバックに関する総合的かつ大規模な研究について紹介する。
私たちは、14カテゴリにわたる292のAI駆動アプリのキュレートされたデータセットを活用し、Google Playから894KのAI固有のレビューを取得しています。
私たちのパイプラインは、ひとつの機能による満足度と、同じレビュー内で別の機能に対するフラストレーションの両方を表面化しています。
論文 参考訳（メタデータ） (2025-06-12T14:56:52Z) - Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。
そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。
我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
論文 参考訳（メタデータ） (2025-06-05T04:12:36Z) - Don't Confuse! Redrawing GUI Navigation Flow in Mobile Apps for Visually Impaired Users [22.747735521796077]
視覚障害のあるユーザーが、アプリ情報をナビゲートしたりアクセスしたりするためにスクリーンリーダーのみに依存しているかどうかは不明だ。
これらの問題を考慮し,RGNF (Re-draw GUI Navigation Flow) という手法を提案する。
グラフィカルユーザインタフェース(GUI)内の各コンポーネントのコンテンツにアクセスしやすさとコヒーレンスを高めることを目的としている。
論文 参考訳（メタデータ） (2025-02-21T01:33:04Z) - GUIWatcher: Automatically Detecting GUI Lags by Analyzing Mobile Application Screencasts [9.997570370503617]
グラフィカルユーザインタフェース(GUI)はモバイルアプリケーションにおいて中心的な役割を果たし、ユーザビリティとユーザ満足度に直接影響を与えます。
遅延や応答性の低いGUIパフォーマンスは、ネガティブなユーザエクスペリエンスとモバイルアプリケーション(アプリ)レーティングの低下につながる可能性がある。
GUIWatcherは,モバイルアプリのテスト中に記録されたスクリーンキャストを分析し,GUIラグを検出するように設計されたフレームワークである。
論文 参考訳（メタデータ） (2025-02-06T16:43:51Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z) - Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。
また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。
UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
論文 参考訳（メタデータ） (2024-12-15T22:17:30Z) - Identifying User Goals from UI Trajectories [19.492331502146886]
観測されたUI軌道からタスク目標を識別する手法を提案する。
また,2つの意図記述をパラフレーズとみなすことができるかどうかを評価するための新しい評価手法を提案する。
このタスクをベンチマークするために、人間と最先端モデル、特にGPT-4とGemini-1.5 Proのパフォーマンスを比較した。
論文 参考訳（メタデータ） (2024-06-20T13:46:10Z) - Gamified GUI testing with Selenium in the IntelliJ IDE: A Prototype Plugin [0.559239450391449]
本稿では,IntelliJ IDEA用のガミフィケーションプラグインのプロトタイプであるGIPGUTについて述べる。
このプラグインは、達成、報酬、プロファイルのカスタマイズを通じて、単調で退屈なタスクにテスタのエンゲージメントを高める。
その結果,ゲーミフィケーション要素の高利用性と肯定的な受容性が示唆された。
論文 参考訳（メタデータ） (2024-03-14T20:11:11Z) - X2T: Training an X-to-Text Typing Interface with Online Learning from
User Feedback [83.95599156217945]
ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。
標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。
このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
論文 参考訳（メタデータ） (2022-03-04T00:07:20Z) - Automated User Experience Testing through Multi-Dimensional Performance
Impact Analysis [0.0]
新規な自動ユーザエクスペリエンステスト手法を提案する。
コードの変更が時間単位とシステムテストにどう影響するかを学び、この情報に基づいてユーザエクスペリエンスの変更を推定します。
当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
論文 参考訳（メタデータ） (2021-04-08T01:18:01Z) - Assisted Perception: Optimizing Observations to Communicate State [112.40598205054994]
我々は、ロボット遠隔操作や視覚障害のあるナビゲーションといったタスクにおいて、ユーザが世界の状態を見積もるのを支援することを目的としている。
ユーザによって処理された場合、より正確な内部状態推定につながる新しい観測結果を合成する。
論文 参考訳（メタデータ） (2020-08-06T19:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。