論文の概要: Are your apps accessible? A GCN-based accessibility checker for low vision users

• arxiv url: http://arxiv.org/abs/2502.14288v1
• Date: Thu, 20 Feb 2025 06:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:58.457153
• Title: Are your apps accessible? A GCN-based accessibility checker for low vision users
• Title（参考訳）: アプリはアクセス可能か? 低ビジョンユーザー向けGCNベースのアクセシビリティチェッカー
• Authors: Mengxi Zhang, Huaxiao Liu, Shenning Song, Chunyang Chen, Pei Huang, Jian Zhao,
• Abstract要約: 本稿では,グラフィカルユーザインタフェースをグラフとして表現し,グラフ畳み込みニューラルネットワーク(GCN)を用いて,アクセス不能なコンポーネントのラベル付けを行う,ALVINという新しいアプローチを提案する。 48アプリの実験では、ALVINの精度は83.5%、リコールは78.9%、F1スコアは81.2%で、ベースライン法よりも優れていた。
• 参考スコア（独自算出の注目度）: 22.747735521796077
• License:
• Abstract: Context: Accessibility issues (e.g., small size and narrow interval) in mobile applications (apps) lead to obstacles for billions of low vision users in interacting with Graphical User Interfaces (GUIs). Although GUI accessibility scanning tools exist, most of them perform rule-based check relying on complex GUI hierarchies. This might make them detect invisible redundant information, cannot handle small deviations, omit similar components, and is hard to extend. Objective: In this paper, we propose a novel approach, named ALVIN (Accessibility Checker for Low Vision), which represents the GUI as a graph and adopts the Graph Convolutional Neural Networks (GCN) to label inaccessible components. Method: ALVIN removes invisible views to prevent detecting redundancy and uses annotations from low vision users to handle small deviations. Also, the GCN model could consider the relations between GUI components, connecting similar components and reducing the possibility of omission. ALVIN only requires users to annotate the relevant dataset when detecting new kinds of issues. Results: Our experiments on 48 apps demonstrate the effectiveness of ALVIN, with precision of 83.5%, recall of 78.9%, and F1-score of 81.2%, outperforming baseline methods. In RQ2, the usefulness is verified through 20 issues submitted to open-source apps. The RQ3 also illustrates the GCN model is better than other models. Conclusion: To summarize, our proposed approach can effectively detect accessibility issues in GUIs for low vision users, thereby guiding developers in fixing them efficiently.
• Abstract（参考訳）: コンテキスト: モバイルアプリケーション(アプリケーション)におけるアクセシビリティの問題(例:小さなサイズと狭い間隔)は、グラフィカルユーザインタフェース(GUI)とのインタラクションにおいて、数十億の低ビジョンユーザの障害を引き起こします。 GUIアクセシビリティースキャンツールが存在するが、そのほとんどは複雑なGUI階層に依存するルールベースのチェックを実行する。 これにより、目に見えない冗長な情報を検出し、小さな偏差を処理できず、類似のコンポーネントを省略し、拡張が困難になる可能性がある。 目的:本稿では,GUIをグラフとして表現し,GCN(Graph Convolutional Neural Networks)を採用してアクセス不能なコンポーネントをラベル付けするALVIN(Accessibility Checker for Low Vision)という新しいアプローチを提案する。 メソッド:ALVINは、冗長性の検出を防ぐために見えないビューを削除し、低ビジョンユーザからのアノテーションを使用して小さな逸脱を処理する。 また、GCNモデルはGUIコンポーネント間の関係を考慮し、同様のコンポーネントを接続し、削除の可能性を減らすことができる。 ALVINは、ユーザーが新しい種類の問題を検出する際にのみ、関連するデータセットに注釈を付ける必要がある。 結果: ALVINの精度は83.5%, 78.9%, F1スコア81.2%, ベースライン法よりも優れていた。 RQ2では、その有用性は、オープンソースアプリに提出された20の課題を通じて検証される。 RQ3はまた、GCNモデルは他のモデルよりも優れていることを示している。 結論: 提案手法は,低ビジョンユーザ向けGUIのアクセシビリティ問題を効果的に検出し,開発者の効率的な修正を指導する。

関連論文リスト

• GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
  MLLMをベースとした自律エージェントGUI-Beeを提案する。 NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
  論文  参考訳（メタデータ） (2025-01-23T18:16:21Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• Graph4GUI: Graph Neural Networks for Representing Graphical User Interfaces [27.84098739594353]
  Graph4GUIはグラフニューラルネットワークを利用して、個々の要素の特性とセマンティックな空間的制約をレイアウトでキャプチャする。 学習された表現は、その効果を複数のタスクで示し、特に挑戦的なGUIオートコンプリートタスクで設計を生成する。
  論文  参考訳（メタデータ） (2024-04-21T04:06:09Z)
• Sheaf4Rec: Sheaf Neural Networks for Graph-based Recommender Systems [18.596875449579688]
  本稿では,カテゴリ理論にインスパイアされた最先端モデルを提案する。 単一のベクトル表現とは異なり、シーフニューラルネットワークとその対応するラプラシアンはベクトル空間を用いて各ノード(およびエッジ)を表現している。 提案モデルでは,F1-Score@10では8.53%,NDCG@10では11.29%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2023-04-07T07:03:54Z)
• Graph Neural Networks for Inconsistent Cluster Detection in Incremental Entity Resolution [3.4806267677524896]
  成熟したデータリポジトリでは、関係は概ね正しいが、元のデータやエンティティの解決システムにおけるエラーのため、漸進的な改善が必要である。 本稿では,共存しない既存関連製品群である不整合クラスタ(ic)を同定する新しい手法を提案する。 既存のMessage Passing Neural Networkがこのタスクで、従来のグラフ処理技術を上回る性能を発揮することを実証する。
  論文  参考訳（メタデータ） (2021-05-12T20:39:22Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。