論文の概要: Don't Confuse! Redrawing GUI Navigation Flow in Mobile Apps for Visually Impaired Users

• arxiv url: http://arxiv.org/abs/2502.15137v1
• Date: Fri, 21 Feb 2025 01:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:33.923697
• Title: Don't Confuse! Redrawing GUI Navigation Flow in Mobile Apps for Visually Impaired Users
• Title（参考訳）: 混乱するな! 視覚障害者向けモバイルアプリにおけるGUIナビゲーションフローの再描画
• Authors: Mengxi Zhang, Huaxiao Liu, Yuheng Zhou, Chunyang Chen, Pei Huang, Jian Zhao,
• Abstract要約: 視覚障害のあるユーザーが、アプリ情報をナビゲートしたりアクセスしたりするためにスクリーンリーダーのみに依存しているかどうかは不明だ。 これらの問題を考慮し,RGNF (Re-draw GUI Navigation Flow) という手法を提案する。 グラフィカルユーザインタフェース(GUI)内の各コンポーネントのコンテンツにアクセスしやすさとコヒーレンスを高めることを目的としている。
• 参考スコア（独自算出の注目度）: 22.747735521796077
• License:
• Abstract: Mobile applications (apps) are integral to our daily lives, offering diverse services and functionalities. They enable sighted users to access information coherently in an extremely convenient manner. However, it remains unclear if visually impaired users, who rely solely on the screen readers (e.g., Talkback) to navigate and access app information, can do so in the correct and reasonable order. This may result in significant information bias and operational errors. Considering these issues, in this work, we proposed a method named RGNF (Re-draw GUI Navigation Flow). It aimed to enhance the understandability and coherence of accessing the content of each component within the Graphical User Interface (GUI), together with assisting developers in creating well-designed GUI navigation flow (GNF). This method was inspired by the characteristics identified in our preliminary study, where visually impaired users expected navigation to be associated with close position and similar shape of GUI components that were read consecutively. Thus, our method relied on the principles derived from the Gestalt psychological model, aiming to group GUI components into different regions according to the laws of proximity and similarity, thereby redrawing the GNFs. To evaluate the effectiveness of our method, we calculated sequence similarity values before and after redrawing the GNF, and further employed the tools proposed by Alotaibi et al. to measure the reachability of GUI components. Our results demonstrated a substantial improvement in similarity (0.921) compared to the baseline (0.624), together with the reachability (90.31%) compared to the baseline GNF (74.35%). Furthermore, a qualitative user study revealed that our method had a positive effect on providing visually impaired users with an improved user experience.
• Abstract（参考訳）: モバイルアプリ(アプリケーション)は私たちの日常生活に不可欠なもので、さまざまなサービスや機能を提供します。 視覚障害者は、極めて便利な方法で、一貫性のある情報にアクセスすることができる。 しかし、視覚障害のあるユーザーが、アプリ情報をナビゲートしてアクセスするためにスクリーンリーダー(例えばTalkback)のみに頼っているかどうかは不明だ。 これは重大な情報バイアスと運用上のエラーをもたらす可能性がある。 本稿では,これらの問題を考慮し,RGNF (Re-draw GUI Navigation Flow) という手法を提案する。 グラフィカルユーザインタフェース(GUI)内の各コンポーネントのコンテンツにアクセスすることの理解性と一貫性を高め、開発者がよく設計されたGUIナビゲーションフロー(GNF)を作成するのを支援することを目的としていた。 本手法は,視覚障害者のナビゲーションとGUIコンポーネントの密接な位置と類似した形状が連続的に読み込まれることを期待する,予備研究で同定された特徴に着想を得たものである。 そこで本手法はゲシュタルト心理学モデルから導かれた原理に頼り,近接性と類似性の法則に従ってGUI成分を異なる領域に分類し,GNFを再描画することを目的とした。 提案手法の有効性を評価するため,GNFの再描画前後のシーケンス類似度値を算出し,Alotaibiらによって提案されたツールを用いてGUIコンポーネントの到達度を測定した。 その結果, ベースライン (0.624), リーチ性 (90.31%) とベースライン GNF (74.35%) との相似性 (0.921) は著しく向上した。 さらに, 質的ユーザスタディでは, 視覚障害のあるユーザに対して, ユーザ体験の向上による肯定的な効果が認められた。

関連論文リスト

• Are your apps accessible? A GCN-based accessibility checker for low vision users [22.747735521796077]
  本稿では,グラフィカルユーザインタフェースをグラフとして表現し,グラフ畳み込みニューラルネットワーク(GCN)を用いて,アクセス不能なコンポーネントのラベル付けを行う,ALVINという新しいアプローチを提案する。 48アプリの実験では、ALVINの精度は83.5%、リコールは78.9%、F1スコアは81.2%で、ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-20T06:04:06Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
  ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。 本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
  論文  参考訳（メタデータ） (2023-10-20T14:04:04Z)
• Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of GUI Widgets from GUI Images [21.498096538797952]
  本稿では,GUIウィジェットの知覚群を推定するための教師なし画像ベース手法を提案する。 772個のモバイルアプリと20個のUIデザインモックアップから収集した1,091個のGUIのデータセットによる評価は、我々の手法が最先端のアドホックベースのベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2022-06-15T05:16:03Z)
• Understanding Visual Saliency in Mobile User Interfaces [31.278845008743698]
  30の参加者と193のモバイルUIによる制御研究の結果を紹介します。 結果は、ユーザが見る方向を導く上で、期待する役割を物語っている。 モバイルUIの視覚的サリエンシを調査するための最初の注釈付きデータセットをリリースする。
  論文  参考訳（メタデータ） (2021-01-22T15:45:13Z)
• User-Guided Domain Adaptation for Rapid Annotation from User Interactions: A Study on Pathological Liver Segmentation [49.96706092808873]
  マスクベースの医用画像のアノテーション、特に3Dデータは、信頼できる機械学習モデルを開発する上でボトルネックとなる。 ユーザガイド付きドメイン適応(UGDA)フレームワークを提案する。このフレームワークは,UIとマスクの複合分布をモデル化するために,予測に基づくドメイン適応(PADA)を利用する。 UGDAは、利用可能なUIのごく一部しか見ていない場合でも、最先端のパフォーマンスを維持することができる。
  論文  参考訳（メタデータ） (2020-09-05T04:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。