論文の概要: AccessFixer: Enhancing GUI Accessibility for Low Vision Users With R-GCN Model

• arxiv url: http://arxiv.org/abs/2502.15142v1
• Date: Fri, 21 Feb 2025 01:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:33.243242
• Title: AccessFixer: Enhancing GUI Accessibility for Low Vision Users With R-GCN Model
• Title（参考訳）: AccessFixer: R-GCNモデルによる低ビジョンユーザ向けGUIアクセシビリティ向上
• Authors: Mengxi Zhang, Huaxiao Liu, Chunyang Chen, Guangyong Gao, Han Li, Jian Zhao,
• Abstract要約: グラフィカルユーザインタフェース(GUI)におけるアクセシビリティ問題を修正するための新しいアプローチであるAccessFixerを提案する。 AccessFixerでは、固定されたGUIは、一貫したカラーパレット、一貫した間隔、および関連するコンポーネントの属性の調整によって達成された適切なサイズ変更を持つ。 私たちはAccessFixerを10のオープンソースアプリに適用します。
• 参考スコア（独自算出の注目度）: 32.47608503609055
• License:
• Abstract: The Graphical User Interface (GUI) plays a critical role in the interaction between users and mobile applications (apps), aiming at facilitating the operation process. However, due to the variety of functions and non-standardized design, GUIs might have many accessibility issues, like the size of components being too small or their intervals being narrow. These issues would hinder the operation of low vision users, preventing them from obtaining information accurately and conveniently. Although several technologies and methods have been proposed to address these issues, they are typically confined to issue identification, leaving the resolution in the hands of developers. Moreover, it can be challenging to ensure that the color, size, and interval of the fixed GUIs are appropriately compared to the original ones. In this work, we propose a novel approach named AccessFixer, which utilizes the Relational-Graph Convolutional Neural Network (R-GCN) to simultaneously fix three kinds of accessibility issues, including small sizes, narrow intervals, and low color contrast in GUIs. With AccessFixer, the fixed GUIs would have a consistent color palette, uniform intervals, and adequate size changes achieved through coordinated adjustments to the attributes of related components. Our experiments demonstrate the effectiveness and usefulness of AccessFixer in fixing GUI accessibility issues. After fixing 30 real-world apps, our approach solves an average of 81.2% of their accessibility issues. Also, we apply AccessFixer to 10 open-source apps by submitting the fixed results with pull requests (PRs) on GitHub. The results demonstrate that developers approve of our submitted fixed GUIs, with 8 PRs being merged or under fixing. A user study examines that low vision users host a positive attitude toward the GUIs fixed by our method.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)は,ユーザとモバイルアプリケーション(アプリ)のインタラクションにおいて重要な役割を果たす。 しかし、様々な機能や非標準設計のため、GUIはコンポーネントのサイズが小さすぎたり、間隔が狭すぎたりするなど、アクセシビリティの問題が多い。 これらの問題は、視力の低いユーザーの操作を妨げ、情報を正確かつ便利に入手することを妨げる。 これらの問題に対処するためにいくつかの技術や手法が提案されているが、通常は識別に制限されており、その解決は開発者の手に委ねられている。 さらに、固定されたGUIの色、サイズ、間隔が元のGUIと適切に比較されることを保証することは困難である。 本稿では、R-GCN(Relational-Graph Convolutional Neural Network)を用いて、GUIの小さなサイズ、狭い間隔、低色のコントラストを含む3種類のアクセシビリティ問題を同時に解決するAccessFixerという新しいアプローチを提案する。 AccessFixerでは、固定されたGUIは、一貫したカラーパレット、一貫した間隔、および関連するコンポーネントの属性の調整によって達成された適切なサイズ変更を持つ。 本稿では,GUIアクセシビリティ問題に対するAccessFixerの有効性と有用性を示す。 30の現実世界のアプリを修正した後、我々のアプローチは平均81.2%のアクセシビリティ問題を解決した。 また、AccessFixerを10のオープンソースアプリに適用し、GitHubにプルリクエスト(PR)で固定結果を提出します。 その結果、開発者は提案した固定GUIを承認し、8つのPRがマージまたは修正中であることを実証した。 ユーザスタディでは,低視力ユーザがGUIに対して肯定的な姿勢を呈することを検討した。

関連論文リスト

• Are your apps accessible? A GCN-based accessibility checker for low vision users [22.747735521796077]
  本稿では,グラフィカルユーザインタフェースをグラフとして表現し,グラフ畳み込みニューラルネットワーク(GCN)を用いて,アクセス不能なコンポーネントのラベル付けを行う,ALVINという新しいアプローチを提案する。 48アプリの実験では、ALVINの精度は83.5%、リコールは78.9%、F1スコアは81.2%で、ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-20T06:04:06Z)
• GUIWatcher: Automatically Detecting GUI Lags by Analyzing Mobile Application Screencasts [9.997570370503617]
  グラフィカルユーザインタフェース(GUI)はモバイルアプリケーションにおいて中心的な役割を果たし、ユーザビリティとユーザ満足度に直接影響を与えます。 遅延や応答性の低いGUIパフォーマンスは、ネガティブなユーザエクスペリエンスとモバイルアプリケーション(アプリ)レーティングの低下につながる可能性がある。 GUIWatcherは,モバイルアプリのテスト中に記録されたスクリーンキャストを分析し,GUIラグを検出するように設計されたフレームワークである。
  論文  参考訳（メタデータ） (2025-02-06T16:43:51Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• Vision-Based Mobile App GUI Testing: A Survey [29.042723121518765]
  ビジョンベースのモバイルアプリ GUI テストアプローチは、コンピュータビジョン技術の開発とともに現れた。 本稿では,271論文における最新技術に関する包括的調査を行い,92論文は視覚に基づく研究である。
  論文  参考訳（メタデータ） (2023-10-20T14:04:04Z)
• Automated and Context-Aware Repair of Color-Related Accessibility Issues for Android Apps [28.880881834251227]
  アプリケーションにおける色関連アクセシビリティ問題を修正するための,自動かつコンテキスト対応の修復手法であるIrisを提案する。 新たなコンテキスト認識技術を活用することで、Irisは最適な色と属性対ペアのローカライゼーションの重要なフェーズを解決した。 実験の結果,Irisは91.38%の補修成功率を高い効率と効率で達成できることがわかった。
  論文  参考訳（メタデータ） (2023-08-17T15:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。