論文の概要: Trained on What Screen Readers Cannot Read: Accessibility Debt in the GUI Corpora Behind Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2611.16107v1
- Date: Wed, 11 Nov 2026 23:28:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.290538
- Title: Trained on What Screen Readers Cannot Read: Accessibility Debt in the GUI Corpora Behind Computer-Use Agents
- Title(参考訳): GUIコーパスのアクセシビリティ負債はコンピュータ利用エージェントの裏側にある
- Abstract要約: 本稿では,2つのAndroidコーパス(RicoとAndroidControl)におけるコンテンツ記述カバレッジを測定する。
17,373,614のインターフェース要素、コンテンツ記述を必要とするRico要素の17.74%、AndroidControlでは57.27%である。
アプリ選択、キャプチャメソッド、プラットフォームバージョンも異なる2つのデータセットを記述する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computer-use agents learn to operate mobile interfaces from corpora of captured screens and accessibility trees. The same trees are what a screen reader consumes, so an agent trained on them inherits whatever labelling gaps the underlying applications carry. This paper measures one of those gaps, content-description coverage, in two Android corpora: Rico, collected in 2017, and AndroidControl, collected in 2024. Across 17,373,614 interface elements, 17.74% of the Rico elements that need a content description under our coding rule carry one, against 57.27% in AndroidControl. The difference of 39.5 percentage points holds under five alternative coding rules and when whole apps are resampled. It describes two datasets that also differ in app selection, capture method and platform version; it does not measure change over time. Input controls are the least labelled role in both corpora (2.20% and 27.21%, or 30.99% in AndroidControl if hint text counts as a name). Descriptions in the older corpus are also five times more likely to be placeholders (10.25% against 1.95%), so the difference is not an artefact of developers typing filler. Resolving 26,205 task actions to the elements they touched shows that, among tappable graphics with no text, demonstrations operate elements described 9.0 points more often than the others on the screens they visit, about 3.5 points of it from the choice of element within a screen. That is a selection effect inside the benchmark. A two-coder reliability check (kappa = 0.91 and 0.96) and the full pipeline accompany the paper.
- Abstract(参考訳): コンピュータ利用エージェントは、キャプチャされたスクリーンとアクセシビリティツリーのコーパスからモバイルインターフェースを操作することを学ぶ。
同じ木がスクリーンリーダーが消費するものなので、それらに基づいて訓練されたエージェントが、基盤となるアプリケーションが持つラベリングギャップを継承する。
本稿は、2017年に収集したRicoと2024年に収集したAndroidControlの2つのAndroidコーパスにおける、コンテンツ記述カバレッジというギャップを計測する。
17,373,614のインターフェース要素、コーディングルールの下でコンテンツ記述を必要とするRico要素の17.74%は、AndroidControlの57.27%に対して1つを担っている。
39.5ポイントの違いは、5つの代替のコーディングルールと、アプリ全体が再サンプリングされる時である。
アプリ選択、キャプチャメソッド、プラットフォームバージョンも異なる2つのデータセットを記述する。
入力制御は、両方のコーパスにおいて最もラベル付けされていない役割である(2.20%と27.21%、ヒントテキストが名前としてカウントされる場合、AndroidControlでは30.99%)。
古いコーパスの記述は、プレースホルダー(10.25%対1.95%)である可能性が5倍高いため、この違いは開発者がフィラーをタイプする人工物ではない。
26,205のタスクアクションをタッチした要素に解決すると、テキストのないタップ可能なグラフィックスの中で、デモでは、訪問する画面上の他の要素よりも9.0ポイントを記述する要素を操作し、画面内の要素の選択から約3.5ポイントが選択された。
これはベンチマーク内での選択効果です。
2コーダの信頼性チェック(カッパ=0.91と0.96)と全パイプラインは紙に付随する。
関連論文リスト
- Same Tasks, Different Apps: Why Mobile GUI Agents Fail to Generalize? [20.490400870497687]
我々はAnyAppBenchを紹介した。AnyAppBenchはカテゴリ制御されたAndroidのライブベンチマークで、アプリケーション間の一般化を評価する。
10の機能カテゴリ、100のタスクテンプレート、520のタスク-アプリケーションペアで52のアプリケーションに対応している。
13のエージェントにまたがって、元のアプリケーションの成功は、同じ目標を持った新しいアプリケーションに確実に転送されないことが分かりました。
論文 参考訳(メタデータ) (2026-09-28T02:21:13Z) - Cross-Platform vs Native Mobile Development: An Empirical Study of Software Quality Trade-offs [51.56484100374058]
クロスプラットフォームのモバイルフレームワークはコードの再利用、デリバリサイクルの短縮、実装の労力の削減を約束する。
この記事では、同じ植物管理アプリケーションの5つの実装を比較する。ネイティブiOS、ネイティブAndroid、Flutter、React Native、Kotlin Multiplatform。
この研究は、時間的挙動、実装のフットプリント、ソースコードの組織、および観測可能なレンダリング応答性を調べる。
論文 参考訳(メタデータ) (2026-09-18T09:33:33Z) - StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。
そのメインエージェントは、コードを使用してプログラム状態と直接連携する。
専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
論文 参考訳(メタデータ) (2026-07-24T14:17:03Z) - Tactile: Giving Computer-Using Agents Hands and Feet [9.655595397922488]
私たちはTactileというオープンソースのツールレイヤを紹介します。
Tactileは異種UIエビデンスに適応したオペレーティングシステムアクセシビリティセマンティクス、OCRテキスト、ビジュアルフォールバックリージョンを、アクショングラウンドのインターフェース状態に変換する。
エージェントは、利用可能な時にネイティブなセマンティックアクションを好むオブザーブ・グラウンド・アクト・バリデーション・ループを介して動作し、可視テキストが最良の証拠であるときにOCRのグラウンドド座標にフォールバックし、リプレイと失敗帰属の完全な証明を保持する。
論文 参考訳(メタデータ) (2026-07-16T00:35:25Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳(メタデータ) (2026-06-12T15:01:32Z) - Screencast-Based Analysis of User-Perceived GUI Responsiveness [53.53923672866705]
Toolsはモバイルのスクリーンキャストから直接GUIの応答性を測定するテクニックである。
コンピュータービジョンを使ってユーザーインタラクションを検出し、フレームレベルの視覚変化を分析し、2つの重要なメトリクスを計算する。
ツールはインダストリアルテストパイプラインにデプロイされ、毎日数千のスクリーンキャストを分析している。
論文 参考訳(メタデータ) (2025-08-02T12:13:50Z) - GUIPilot: A Consistency-based Mobile GUI Testing Approach for Detecting Application-specific Bugs [16.85762480091835]
モバイル設計と実装の矛盾を検出するためのGUIPilotを提案する。
実験の結果,GUIPilotは画面不整合の検出において94.5%の精度と99.6%のリコールを実現することができた。
トレーディングモバイルアプリケーションにGUIPilotを適用するという産業ケーススタディは、GUIPilotが9つのアプリケーションバグを検出したことを示している。
論文 参考訳(メタデータ) (2025-06-09T03:09:48Z) - Android in the Wild: A Large-Scale Dataset for Android Device Control [4.973591165982018]
デバイス制御研究のためのデータセット、Android in the Wild (AITW) を提示する。
データセットには、画面やアクションを含むデバイスインタラクションの人間によるデモと、対応する自然言語命令が含まれている。
30kのユニークな命令、Androidの4つのバージョン(v10-13)、そして8つのデバイスタイプ(Pixel 2 XLからPixel 6)にまたがる715kのエピソードで構成されている。
論文 参考訳(メタデータ) (2023-07-19T15:57:24Z) - Understanding Mobile GUI: from Pixel-Words to Screen-Sentences [48.97215653702567]
モバイルGUI理解アーキテクチャを提案する:Pixel-Words to Screen-Sentence (PW2SS)
Pixel-Wordsはアトミックビジュアルコンポーネントとして定義されており、スクリーンショット全体で視覚的に一貫性があり、セマンティックにクリアである。
トレーニングデータで利用可能なメタデータを使って、Pixel-Wordsの高品質なアノテーションを自動生成できます。
論文 参考訳(メタデータ) (2021-05-25T13:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。