論文の概要: AURORA: Navigating UI Tarpits via Automated Neural Screen Understanding
- arxiv url: http://arxiv.org/abs/2404.01240v1
- Date: Mon, 1 Apr 2024 16:58:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 21:36:17.748776
- Title: AURORA: Navigating UI Tarpits via Automated Neural Screen Understanding
- Title(参考訳): AURORA: 自動ニューラルスクリーン理解によるUIターゲットのナビゲーション
- Authors: Safwat Ali Khan, Wenyu Wang, Yiran Ren, Bin Zhu, Jiangfan Shi, Alyssa McGowan, Wing Lam, Kevin Moran,
- Abstract要約: AURORAは、モバイルアプリUIに存在する視覚的およびテキスト的パターンから学習し、一般的なスクリーンデザインを自動的に検出し、それに従ってナビゲートする技術である。
AURORAはタルピートスクリーンを効果的にナビゲートすることができ、ターピートを19.6%のメソッドカバレッジで回避する以前のアプローチよりも優れている。
- 参考スコア(独自算出の注目度): 25.212935662130434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nearly a decade of research in software engineering has focused on automating mobile app testing to help engineers in overcoming the unique challenges associated with the software platform. Much of this work has come in the form of Automated Input Generation tools (AIG tools) that dynamically explore app screens. However, such tools have repeatedly been demonstrated to achieve lower-than-expected code coverage - particularly on sophisticated proprietary apps. Prior work has illustrated that a primary cause of these coverage deficiencies is related to so-called tarpits, or complex screens that are difficult to navigate. In this paper, we take a critical step toward enabling AIG tools to effectively navigate tarpits during app exploration through a new form of automated semantic screen understanding. We introduce AURORA, a technique that learns from the visual and textual patterns that exist in mobile app UIs to automatically detect common screen designs and navigate them accordingly. The key idea of AURORA is that there are a finite number of mobile app screen designs, albeit with subtle variations, such that the general patterns of different categories of UI designs can be learned. As such, AURORA employs a multi-modal, neural screen classifier that is able to recognize the most common types of UI screen designs. After recognizing a given screen, it then applies a set of flexible and generalizable heuristics to properly navigate the screen. We evaluated AURORA both on a set of 12 apps with known tarpits from prior work, and on a new set of five of the most popular apps from the Google Play store. Our results indicate that AURORA is able to effectively navigate tarpit screens, outperforming prior approaches that avoid tarpits by 19.6% in terms of method coverage. The improvements can be attributed to AURORA's UI design classification and heuristic navigation techniques.
- Abstract(参考訳): ソフトウェアエンジニアリングにおける10年近くの研究は、ソフトウェアエンジニアがソフトウェアプラットフォームに関連するユニークな課題を克服するのを助けるために、モバイルアプリテストを自動化することに重点を置いてきた。
この作業の多くは、アプリ画面を動的に探索するAIGツール(Automated Input Generation Tool)の形で行われています。
しかしながら、このようなツールは、特に高度なプロプライエタリなアプリにおいて、予想より低いコードカバレッジを達成するために、何度も実証されてきた。
以前の研究では、これらのカバレッジ障害の主な原因は、いわゆるターピットや、ナビゲートが難しい複雑なスクリーンに関係していることが示されています。
本稿では、AIGツールがアプリ探索中に、新しいタイプのセマンティックスクリーン理解を通じて、タルピートを効果的にナビゲートできるようにするための重要な一歩を踏み出す。
AURORAは、モバイルアプリUIに存在する視覚的およびテキスト的パターンから学習し、一般的なスクリーンデザインを自動的に検出し、それに従ってナビゲートする技術である。
AURORAのキーとなる考え方は、UIデザインのカテゴリの一般的なパターンを学習できるように、微妙なバリエーションがあるにもかかわらず、モバイルアプリのスクリーンデザインが有限であるということだ。
そのため、AURORAは、最も一般的なUIスクリーンデザインを認識できるマルチモーダルなニューラルスクリーン分類器を使用している。
画面を認識した後、フレキシブルで一般化可能なヒューリスティックのセットを適用して、画面を適切にナビゲートする。
私たちはAURORAを、以前の作業から既知のタルプを持つ12のアプリセットと、Google Playストアから最も人気のある5つのアプリセットで評価しました。
以上の結果から,AURORAはタルピートスクリーンを効果的にナビゲートでき,従来の手法よりも19.6%高い精度でタルピートを回避できることがわかった。
この改良は、AURORAのUI設計分類とヒューリスティックナビゲーション技術による。
関連論文リスト
- You Only Look at Screens: Multimodal Chain-of-Action Agents [43.850040967091616]
Auto-UIはインターフェースと直接対話するマルチモーダルソリューションである。
そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。
我々は30Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
論文 参考訳(メタデータ) (2023-09-20T16:12:32Z) - AidUI: Toward Automated Recognition of Dark Patterns in User Interfaces [6.922187804798161]
UIのダークパターンは、エンドユーザが意図したことのないアクションを取る(無意識に)ためのものです。
AidUIは、コンピュータビジョンと自然言語処理技術を用いて、10種類のユニークなUIダークパターンを認識する新しいアプローチである。
AidUIは、ダークパターンの検出において0.66、リコール0.67、F1スコア0.65の総合精度を実現し、検出されたパターンをIoUスコア0.84でローカライズすることができる。
論文 参考訳(メタデータ) (2023-03-12T23:46:04Z) - Spotlight: Mobile UI Understanding using Vision-Language Models with a
Focus [9.401663915424008]
本稿では,UIのスクリーンショットと画面上の関心領域のみを入力とする視覚言語モデルを提案する。
実験の結果,本モデルではいくつかのUIタスクにおいてSoTA結果が得られ,従来手法よりも優れていたことが判明した。
論文 参考訳(メタデータ) (2022-09-29T16:45:43Z) - SIAD: Self-supervised Image Anomaly Detection System [18.410995759781006]
本稿では,SsaAと呼ばれる自動アノテーションシステムについて概説する。
ユーザフレンドリーなWebベースのインターフェースにより、SsaAは教師なしアルゴリズムと教師なしアルゴリズムの両方を統合するのに非常に便利である。
論文 参考訳(メタデータ) (2022-08-08T14:26:35Z) - MONAI Label: A framework for AI-assisted Interactive Labeling of 3D
Medical Images [49.664220687980006]
注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。
本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
論文 参考訳(メタデータ) (2022-03-23T12:33:11Z) - Polyline Based Generative Navigable Space Segmentation for Autonomous
Visual Navigation [57.3062528453841]
ロボットが教師なしの方法で移動可能な空間分割を学習できるようにするための表現学習ベースのフレームワークを提案する。
提案するPSV-Netは,単一のラベルを使わずとも,高精度で視覚ナビゲーション可能な空間を学習可能であることを示す。
論文 参考訳(メタデータ) (2021-10-29T19:50:48Z) - ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。
提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。
我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
論文 参考訳(メタデータ) (2020-12-17T18:22:32Z) - Emerging App Issue Identification via Online Joint Sentiment-Topic
Tracing [66.57888248681303]
本稿では,MERITという新しい問題検出手法を提案する。
AOBSTモデルに基づいて、1つのアプリバージョンに対するユーザレビューに否定的に反映されたトピックを推測する。
Google PlayやAppleのApp Storeで人気のアプリに対する実験は、MERITの有効性を実証している。
論文 参考訳(メタデータ) (2020-08-23T06:34:05Z) - FastReID: A Pytorch Toolbox for General Instance Re-identification [70.10996607445725]
一般的なインスタンスの再識別は、コンピュータビジョンにおいて非常に重要なタスクである。
我々は、JD AI Researchにおいて広く使われているソフトウェアシステムとしてFastReIDを提示する。
我々は、人物のリID、部分的なリID、クロスドメインのリID、車両のリIDなど、最先端のプロジェクトをいくつか実施してきた。
論文 参考訳(メタデータ) (2020-06-04T03:51:43Z) - I-ViSE: Interactive Video Surveillance as an Edge Service using
Unsupervised Feature Queries [70.69741666849046]
本稿では、教師なし機能クエリに基づくエッジサービス(I-ViSE)としてインタラクティブビデオ監視を提案する。
I-ViSEのプロトタイプはエッジフォッグコンピューティングのパラダイムに従って構築され、実験により、I-ViSE方式がシーン認識の設計目標を2秒以内で満たすことを確認した。
論文 参考訳(メタデータ) (2020-03-09T14:26:45Z) - Developing an Augmented Reality Tourism App through User-Centred Design
(Extended Version) [2.2559617939136505]
ユーザ中心設計(UCD)を用いて,AR観光アプリを開発した。
我々は、ドメイン分析、観光観察、半構造化インタビューの合成を通じて、要件を要請する。
最終製品は、英国の都市で観光業務に参加する20人のユーザーによって評価される。
論文 参考訳(メタデータ) (2020-01-29T23:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。