論文の概要: Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI
Components by Deep Learning
- arxiv url: http://arxiv.org/abs/2003.00380v2
- Date: Thu, 2 Jul 2020 11:38:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 13:20:37.193894
- Title: Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI
Components by Deep Learning
- Title(参考訳): unblind your apps:ディープラーニングによるモバイルguiコンポーネントの自然言語ラベルの予測
- Authors: Jieshan Chen, Chunyang Chen, Zhenchang Xing, Xiwei Xu, Liming Zhu,
Guoqiang Li, and Jinshui Wang
- Abstract要約: 10,408のAndroidアプリの分析によると、77%以上のアプリがラベルを欠落している。
画像ベースボタンのラベルを自動的に予測するディープラーニングベースモデルであるLabelDroidを開発した。
実験の結果,我々のモデルでは正確な予測が可能であり,生成したラベルは実際のAndroid開発者よりも高品質であることがわかった。
- 参考スコア(独自算出の注目度): 21.56849865328527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: According to the World Health Organization(WHO), it is estimated that
approximately 1.3 billion people live with some forms of vision impairment
globally, of whom 36 million are blind. Due to their disability, engaging these
minority into the society is a challenging problem. The recent rise of smart
mobile phones provides a new solution by enabling blind users' convenient
access to the information and service for understanding the world. Users with
vision impairment can adopt the screen reader embedded in the mobile operating
systems to read the content of each screen within the app, and use gestures to
interact with the phone. However, the prerequisite of using screen readers is
that developers have to add natural-language labels to the image-based
components when they are developing the app. Unfortunately, more than 77% apps
have issues of missing labels, according to our analysis of 10,408 Android
apps. Most of these issues are caused by developers' lack of awareness and
knowledge in considering the minority. And even if developers want to add the
labels to UI components, they may not come up with concise and clear
description as most of them are of no visual issues. To overcome these
challenges, we develop a deep-learning based model, called LabelDroid, to
automatically predict the labels of image-based buttons by learning from
large-scale commercial apps in Google Play. The experimental results show that
our model can make accurate predictions and the generated labels are of higher
quality than that from real Android developers.
- Abstract(参考訳): 世界保健機関(WHO)によると、世界中で約13億人が視覚障害を患っており、そのうち3600万人が盲目である。
その障害のため、これらの少数派を社会に巻き込むことは難しい問題である。
近年の携帯電話の普及は、視覚障害者が世界を理解するための情報やサービスにアクセスしやすくすることで、新しいソリューションを提供する。
視覚障害のあるユーザは、モバイルオペレーティングシステムに埋め込まれたスクリーンリーダーを採用して、アプリ内の各画面のコンテンツを読み、ジェスチャーを使ってスマートフォンと対話することができる。
しかし、スクリーンリーダーを使う前提は、開発者がアプリを開発する際に、画像ベースのコンポーネントに自然言語ラベルを追加する必要があることである。
10,408のAndroidアプリの分析によると、残念ながら77%以上のアプリがラベルの不足に悩まされている。
これらの問題のほとんどは、マイノリティを考慮した開発者の認識と知識の欠如によって引き起こされる。
また、開発者がラベルをUIコンポーネントに追加したいとしても、視覚的な問題がないため、簡潔で明確な説明が得られない可能性がある。
これらの課題を克服するために、Google Playの大規模商用アプリから学習することで、画像ベースのボタンのラベルを自動的に予測するディープラーニングベースのモデル、LabelDroidを開発した。
実験の結果,本モデルは正確な予測を行うことができ,生成ラベルは実際のandroid開発者よりも高品質であることが判明した。
関連論文リスト
- Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI
Testing via Functionality-aware Decisions [23.460051600514806]
GPTDroidは、モバイルアプリ向けのQ&AベースのGUIテスティングフレームワークである。
機能認識型メモリプロンプト機構を導入する。
アクティビティのカバレッジが32%向上し、より高速な速度で31%のバグを検出する。
論文 参考訳(メタデータ) (2023-10-24T12:30:26Z) - Towards Automated Accessibility Report Generation for Mobile Apps [14.908672785900832]
アプリケーションアクセシビリティーレポート全体を生成するシステムを提案する。
様々なデータ収集方法(アプリクローリング、手動記録など)と既存のアクセシビリティスキャナを組み合わせる。
論文 参考訳(メタデータ) (2023-09-29T19:05:11Z) - Automated and Context-Aware Repair of Color-Related Accessibility Issues
for Android Apps [28.880881834251227]
アプリケーションにおける色関連アクセシビリティ問題を修正するための,自動かつコンテキスト対応の修復手法であるIrisを提案する。
新たなコンテキスト認識技術を活用することで、Irisは最適な色と属性対ペアのローカライゼーションの重要なフェーズを解決した。
実験の結果,Irisは91.38%の補修成功率を高い効率と効率で達成できることがわかった。
論文 参考訳(メタデータ) (2023-08-17T15:03:11Z) - A Pairwise Dataset for GUI Conversion and Retrieval between Android
Phones and Tablets [24.208087862974033]
Paptデータセットは、Androidスマートフォンとタブレット間のGUI変換と検索のためのペアワイズデータセットである。
データセットには5,593の電話-タブレットアプリペアから10,035の電話-タブレットGUIページペアが含まれている。
論文 参考訳(メタデータ) (2023-07-25T03:25:56Z) - Robotic Skill Acquisition via Instruction Augmentation with
Vision-Language Models [70.82705830137708]
言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。
我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。
DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
論文 参考訳(メタデータ) (2022-11-21T18:56:00Z) - VidLanKD: Improving Language Understanding via Video-Distilled Knowledge
Transfer [76.3906723777229]
言語理解を改善するためのビデオ言語知識蒸留法VidLanKDを提案する。
我々は、ビデオテキストデータセット上でマルチモーダル教師モデルを訓練し、その知識をテキストデータセットを用いて学生言語モデルに伝達する。
我々の実験では、VidLanKDはテキストのみの言語モデルや発声モデルよりも一貫した改善を実現している。
論文 参考訳(メタデータ) (2021-07-06T15:41:32Z) - Understanding Mobile GUI: from Pixel-Words to Screen-Sentences [48.97215653702567]
モバイルGUI理解アーキテクチャを提案する:Pixel-Words to Screen-Sentence (PW2SS)
Pixel-Wordsはアトミックビジュアルコンポーネントとして定義されており、スクリーンショット全体で視覚的に一貫性があり、セマンティックにクリアである。
トレーニングデータで利用可能なメタデータを使って、Pixel-Wordsの高品質なアノテーションを自動生成できます。
論文 参考訳(メタデータ) (2021-05-25T13:45:54Z) - Fast and Accurate Quantized Camera Scene Detection on Smartphones,
Mobile AI 2021 Challenge: Report [65.91472671013302]
我々は、量子化ディープラーニングベースのカメラシーン分類ソリューションを開発することを目的とした、最初のMobile AIチャレンジを紹介する。
提案されたソリューションは、すべての主要なモバイルAIアクセラレータと完全に互換性があり、最近のスマートフォンプラットフォームの大部分で100-200 FPS以上を実証することができる。
論文 参考訳(メタデータ) (2021-05-17T13:55:38Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Understanding Visual Saliency in Mobile User Interfaces [31.278845008743698]
30の参加者と193のモバイルUIによる制御研究の結果を紹介します。
結果は、ユーザが見る方向を導く上で、期待する役割を物語っている。
モバイルUIの視覚的サリエンシを調査するための最初の注釈付きデータセットをリリースする。
論文 参考訳(メタデータ) (2021-01-22T15:45:13Z) - Emerging App Issue Identification via Online Joint Sentiment-Topic
Tracing [66.57888248681303]
本稿では,MERITという新しい問題検出手法を提案する。
AOBSTモデルに基づいて、1つのアプリバージョンに対するユーザレビューに否定的に反映されたトピックを推測する。
Google PlayやAppleのApp Storeで人気のアプリに対する実験は、MERITの有効性を実証している。
論文 参考訳(メタデータ) (2020-08-23T06:34:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。