論文の概要: Navigation Alone Is Not Enough: Evaluating Explanatory Assistive UI Agents
- arxiv url: http://arxiv.org/abs/2608.09944v1
- Date: Wed, 01 Jul 2026 16:24:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.181237
- Title: Navigation Alone Is Not Enough: Evaluating Explanatory Assistive UI Agents
- Title（参考訳）: 説明的補助的UIエージェントの評価
- Abstract要約: 非視覚的使用のためのクリア言語の各ステップを説明しながらインターフェースをナビゲートしなければならない補助エージェントのためのベンチマークであるNeXUIを紹介する。
NeXUIは、計測されたインターフェース状態と現実的なユーザ目標をペアリングすることで、エージェントが視覚的コンテキストと構造情報の両方から推論できる。
NeXUIは最先端の基盤モデルでも依然として挑戦的であり、50%のGemini-3.5-Flashはわずか44%の成功率と説明スコアの低さを達成している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern web interfaces are increasingly difficult to use with screen readers, particularly when pages update dynamically or hide important structure behind visual layout. Recent UI agents can act on such interfaces; however, for assistive agents to be truly useful, they must behave as collaborators that keep users informed and in control, rather than as tools that simply take actions on users' behalf. Most existing benchmarks judge systems primarily by task completion, without assessing how well they explain their actions or support user oversight. We introduce NeXUI, a benchmark for assistive agents that must navigate interfaces while explaining each step in clear language for nonvisual use. NeXUI pairs realistic user goals with instrumented interface states, enabling agents to reason from both visual context and structural information. Its evaluation measures safety, efficiency, and task success, while also checking whether explanations are grounded in the interface state. In our experiments, we find that NeXUI remains challenging even for state-of-the-art foundation models, with % Gemini-3.5-Flash achieving only a 44\% success rate and poor explanation scores, making it a useful foundation for future research and development. By focusing on navigation, explanation, and user control, NeXUI provides a clearer way to study agents that can support blind and visually impaired users in modern computing environments.
- Abstract（参考訳）: モダンなWebインターフェースは、特にページが動的に更新されたり、視覚的なレイアウトの背後にある重要な構造を隠す場合、スクリーンリーダーでの使用がますます困難になっている。
最近のUIエージェントはそのようなインターフェースで動作することができるが、補助エージェントが真に有用であるためには、単にユーザに代わってアクションを行うツールとしてではなく、ユーザの情報とコントロールを維持する共同作業者として振る舞う必要がある。
既存のベンチマークのほとんどは、主にタスクの完了によってシステムを判断する。
非視覚的使用のためのクリア言語の各ステップを説明しながらインターフェースをナビゲートしなければならない補助エージェントのためのベンチマークであるNeXUIを紹介する。
NeXUIは、計測されたインターフェース状態と現実的なユーザ目標をペアリングすることで、エージェントが視覚的コンテキストと構造情報の両方から推論できる。
その評価は、安全性、効率、タスクの成功を計測し、また、説明がインターフェースの状態にあるかどうかを検査する。
我々の実験では、NeXUIは最先端の基盤モデルでも依然として挑戦的であり、ゲミニ3.5-Flashは44 %の成功率と説明スコアの低さしか達成できず、将来の研究開発に有用な基盤となっている。
ナビゲーション、説明、ユーザコントロールに焦点を当てることで、NeXUIは、現代のコンピューティング環境で視覚障害者や視覚障害者をサポートするエージェントを研究するための、より明確な方法を提供します。
関連論文リスト
- DocOS: Towards Proactive Document-Guided Actions in GUI Agents [54.27655693145045]
textbfDocOSは、完全にインタラクティブな環境で文書誘導問題解決を評価するために設計されたベンチマークである。
実験の結果、エージェントはプロアクティブ検索中に関連情報を確実に見つけるのに苦労し、検索した指示を忠実に正確な行動に移すのに失敗することが判明した。
論文 参考訳（メタデータ） (2026-05-18T08:36:04Z) - What's Missing in Screen-to-Action? Towards a UI-in-the-Loop Paradigm for Multimodal GUI Reasoning [58.734995044357845]
UI-in-the-Loop(UILoop)と呼ばれる革新的なGUI推論パラダイムを提案する。
提案手法はGUI推論タスクをサイクリックスクリーンUI要素のアクションプロセスとして扱う。
MLLM(Multimodal Large Language Models)によって、キーUI要素のローカライゼーション、セマンティック関数、実用的な使用法を明示的に学習することで、UILoopは正確な発見を達成し、解釈可能な推論を行う。
論文 参考訳（メタデータ） (2026-04-08T12:12:09Z) - Computer-Use Agents as Judges for Generative User Interface [142.75272102498806]
ComputerUse Agents (CUA) は、グラフィカルユーザインタフェース (GUI) を通じてデジタル環境を自律的に操作する能力が高まっている。
ほとんどのGUIは、人間が効率的にタスクを実行するのに不要な人間指向の動作を採用するために設計されている。
CUA は Coder でGUI の自動設計を支援することができるだろうか?
論文 参考訳（メタデータ） (2025-11-19T16:00:02Z) - PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents [151.86841216364294]
textbfPAL-UI (textbfActive textbfLook-back) を提案する。
PAL-UIは、二重レベルの要約エージェントを組み合わせ、観察レベルの手がかりとアクションレベルの結果の両方を、専用の検索ツールと組み合わせる。
論文 参考訳（メタデータ） (2025-10-01T01:48:39Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。
クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。
オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z) - Identifying User Goals from UI Trajectories [19.492331502146886]
観測されたUI軌道からタスク目標を識別する手法を提案する。
また,2つの意図記述をパラフレーズとみなすことができるかどうかを評価するための新しい評価手法を提案する。
このタスクをベンチマークするために、人間と最先端モデル、特にGPT-4とGemini-1.5 Proのパフォーマンスを比較した。
論文 参考訳（メタデータ） (2024-06-20T13:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。