論文の概要: MCP-Driven Accessibility Tree Standardization for AI-Powered Screen Reader Agents
- arxiv url: http://arxiv.org/abs/2608.24898v1
- Date: Mon, 13 Jul 2026 01:52:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.334339
- Title: MCP-Driven Accessibility Tree Standardization for AI-Powered Screen Reader Agents
- Title（参考訳）: AIを用いたスクリーンリーダエージェントのためのMPP駆動アクセシビリティツリー標準化
- Abstract要約: 本稿では、アクセシビリティフレームワークとAIエージェント間の統合トランスポートおよびスキーマ層としてモデルコンテキストプロトコル(MCP)を使用するアーキテクチャを提案する。
MCPアクセシビリティサーバは、プラットフォームに依存しない表現を通じて、ARIAに準拠したロール、ラベル、ステート、フォーカス可能なアシスト要素階層を公開する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents that interact with graphical user interfaces increasingly rely on either raw screenshots or platform-specific accessibility application programming interfaces (APIs) to perceive interface state. Both approaches have limitations for assistive applications: screenshot-based perception lacks the semantic roles and relationships required by screen readers, while platform-specific APIs such as Windows UI Automation, macOS Accessibility, Android AccessibilityService, and web ARIA require separate integrations for each platform. This paper proposes an architecture that uses the Model Context Protocol (MCP) as a unified transport and schema layer between heterogeneous accessibility frameworks and LLM-based assistive agents. An MCP accessibility server exposes ARIA-aligned roles, labels, states, and focusable-element hierarchies through a platform-independent representation, enabling consistent interaction across operating systems and applications. The framework also introduces an MCP resource model for persisting user accessibility preferences across sessions. The architecture is analyzed with respect to three research questions: protocol extensibility for accessibility-tree representation, latency and semantic fidelity trade-offs between accessibility trees and screenshot-based perception, and support for persistent accessibility profiles through MCP resources. Rather than presenting an empirical implementation, this work contributes a conceptual framework supported by comparative analysis of accessibility APIs, GUI agent architectures, and the MCP specification. The analysis suggests that a standardized MCP accessibility layer can reduce platform-specific integration complexity while preserving the semantic information required for accessible AI agents, providing a foundation for future implementation and evaluation.
- Abstract（参考訳）: グラフィカルユーザインタフェースと対話する大規模言語モデル(LLM)エージェントは、インターフェースの状態を認識するために、生のスクリーンショットかプラットフォーム固有のアクセシビリティアプリケーションプログラミングインターフェース(API)にますます依存している。
スクリーンショットベースの認識は、スクリーンリーダーに必要なセマンティックな役割と関係を欠いているのに対して、Windows UI Automation、macOS Accessibility、Android AccessibilityService、Web ARIAといったプラットフォーム固有のAPIは、プラットフォーム毎に別々の統合を必要としている。
本稿では,モデルコンテキストプロトコル(MCP)を異種アクセシビリティフレームワークとLLMベースの補助エージェント間の統合トランスポートおよびスキーマ層として利用するアーキテクチャを提案する。
MCPアクセシビリティサーバは、プラットフォームに依存しない表現を通じて、ARIAに準拠した役割、ラベル、状態、フォーカス可能な要素階層を公開する。
フレームワークはまた、セッション間でユーザアクセシビリティの嗜好を永続化するためのMPPリソースモデルも導入している。
アーキテクチャは、アクセシビリティツリー表現のためのプロトコル拡張性、アクセシビリティツリーとスクリーンショットベースの認識の間のレイテンシとセマンティックフィデリティのトレードオフ、MPPリソースによる永続的なアクセシビリティプロファイルのサポートという3つの研究課題について分析されている。
実証的な実装を提供するのではなく、アクセシビリティAPI、GUIエージェントアーキテクチャ、MPP仕様の比較分析がサポートする概念的なフレームワークを提供する。
この分析は、標準化されたMPPアクセシビリティレイヤが、アクセス可能なAIエージェントに必要なセマンティック情報を保持しながら、プラットフォーム固有の統合複雑性を低減し、将来の実装と評価の基礎を提供することを示唆している。
関連論文リスト
- JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition [51.15720718264743]
プラットフォーム間の協調的なインタラクションを必要とするデバイス間通信におけるGUIエージェントの評価を行う動的ベンチマークであるJarvisGUIを紹介する。
JarvisGUIは、GUIタスクを軽量な型システムの下で入力出力変換として定式化し、複数ステップのクロスデバイス変換を自動的に構成する。
我々は、最先端のオープンソースGUIエージェントが、実際の使用に必要な状態遷移認識、クロスプラットフォームのコンテキスト推論、長期水平依存性管理に苦労していることを示します。
論文 参考訳（メタデータ） (2026-09-09T16:59:59Z) - The Model Is Not the Product: A Dual-Pillar Architecture for Local-First Psychological Coaching [51.56484100374058]
本報告では,iOS アプリケーションである Psych LM について紹介する。
Psych LMは、動作およびライフコーチングアプリケーション用に設計された、目的に構築された、ローカルファーストのランタイム内で、ローカル、オンデバイス言語モデルを実行する。
論文 参考訳（メタデータ） (2026-05-23T05:49:11Z) - The Auton Agentic AI Framework [5.410458076724158]
人工知能の分野では、ジェネレーティブAIからエージェントAIへの移行が進行中である。
大規模言語モデル(LLM)は構造化されていない出力を生成するが、それらが制御しなければならないバックエンドインフラストラクチャは決定論的でスキーマに適合する入力を必要とする。
本稿では,自律エージェントの作成,作成,管理を行うための原則アーキテクチャであるAuton Agentic AI Frameworkについて述べる。
論文 参考訳（メタデータ） (2026-02-27T06:42:08Z) - The Agentic Automation Canvas: a structured framework for agentic AI project design [0.0]
本稿ではエージェントシステム設計のための構造化フレームワークであるエージェント自動化Canvas(AAC)について述べる。
AACは自動化プロジェクトの6つの側面を捉えている。定義とスコープ、定量化された利益指標によるユーザ期待、開発者の実現可能性評価、ガバナンスのステージングである。
リアルタイムのバリデーションを備えたクライアントサイドのWebアプリケーションを通じてアクセスすることができる。
論文 参考訳（メタデータ） (2026-02-16T16:46:04Z) - A Modular Reference Architecture for MCP-Servers Enabling Agentic BIM Interaction [0.5219568203653523]
大規模言語モデル(LLM)によって駆動されるエージェントは、ビルディング・インフォメーション・モデリングにますます適用される。
最近の研究は、LLMの統一的なツールコールインターフェースとして、新しいモデルコンテキストプロトコル(MCP)を採用し始めている。
現在のBIMサイド実装は、ツール固有のアドホックな実装で、環境間の再利用、評価、ワークフローポータビリティを制限している。
本稿では,APIに依存しない,分離された,再現可能なエージェントBIMインタラクションを実現するMPPサーバのためのモジュール型参照アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-12-21T23:12:26Z) - Context-Aware Visual Prompting: Automating Geospatial Web Dashboards with Large Language Models and Agent Self-Validation for Decision Support [1.506501956463029]
リスク分析と意思決定のためのWebベースのダッシュボードの開発は、大きな多次元データの難しさに悩まされることが多い。
ユーザ定義入力からインタラクティブな地理空間ダッシュボードの作成を自動化する生成AIフレームワークを導入する。
論文 参考訳（メタデータ） (2025-10-10T10:58:15Z) - A Multimodal GUI Architecture for Interfacing with LLM-Based Conversational Assistants [0.0]
本稿では、GUIが音声対応アシスタントと対話できる具体的なアーキテクチャを提供する。
アーキテクチャにより、アプリケーションのナビゲーショングラフとセマンティクスは、モデルコンテキストプロトコル(MCP)を介して利用可能になる。
プライバシとデータセキュリティに関する懸念に対処するため、音声対応マルチモーダルUIのためのローカル展開可能なオープンウェイトLLMの実用的有効性を評価した。
論文 参考訳（メタデータ） (2025-08-31T14:40:11Z) - A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。
大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。
本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
論文 参考訳（メタデータ） (2025-03-27T17:58:31Z) - AppAgent v2: Advanced Agent for Flexible Mobile Interactions [57.98933460388985]
本研究は,モバイル機器向けの新しいLLMベースのマルチモーダルエージェントフレームワークを提案する。
我々のエージェントは、様々なアプリケーションにまたがる適応性を高めるフレキシブルなアクション空間を構築する。
本研究は,実世界のシナリオにおいて,フレームワークの優れた性能を実証し,その有効性を確認した。
論文 参考訳（メタデータ） (2024-08-05T06:31:39Z) - CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。
AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-19T08:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。