論文の概要: Understanding Tool-Mediated Interaction Failures in Agentic GUI Software: An Empirical Study
- arxiv url: http://arxiv.org/abs/2610.31698v1
- Date: Wed, 21 Oct 2026 13:27:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.244314
- Title: Understanding Tool-Mediated Interaction Failures in Agentic GUI Software: An Empirical Study
- Title（参考訳）: エージェントGUIソフトウェアにおけるツール媒介相互作用障害の理解--実証的研究
- Abstract要約: 大規模言語モデル (LLM) は、ライブグラフィカルユーザインタフェース (GUI) を通じてタスクを完遂する傾向にある。
本稿では,このツールを介するインタラクションが,エージェントのタスクビューをライブGUIから切り離す障害について検討する。
Malvaは、40のオープンソースアプリケーションから現実の失敗が確認された335の欠陥ライブラリです。
- 参考スコア（独自算出の注目度）: 12.964034761958048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents increasingly complete tasks through live graphical user interfaces (GUIs). Because the model cannot directly operate the GUI, these systems often rely on tools to capture screenshots or UI trees, translate model outputs into GUI actions, and report whether the interface changed. We study failures where this tool-mediated interaction makes the agent's view of the task diverge from the live GUI. We construct Malva, a defect library with 335 confirmed real-world failures from 40 open-source applications. These failures fall into 11 defect patterns rooted in state representation, state transition, and synchronization problems. They are widespread: 90% of the studied applications contain more than one defect type. They are also often silent: incorrectness appears in 86.6% of failures, including 119 cases that produce wrong behavior without a fail-stop signal. We operationalize this taxonomy with MalvaGuard, a pre-deployment static contract checker that reaches 57.3% precision and 76.8% recall on an additional 20-application corpus.
- Abstract（参考訳）: 大規模言語モデル (LLM) は、GUI (Live Graphial User Interface) を通じてタスクを完遂するようになっている。
モデルがGUIを直接操作できないため、これらのシステムはスクリーンショットやUIツリーをキャプチャし、モデル出力をGUIアクションに変換し、インターフェースが変更されたかどうかを報告するためのツールに依存することが多い。
本稿では,このツールを介するインタラクションが,エージェントのタスクビューをライブGUIから切り離す障害について検討する。
Malvaは、40のオープンソースアプリケーションから現実の失敗が確認された335の欠陥ライブラリです。
これらの障害は、状態表現、状態遷移、同期問題に根ざした11の欠陥パターンに該当する。
研究対象のアプリケーションの90%には複数の欠陥タイプが含まれている。
誤りは86.6%の障害に現れ、119のケースがフェールストップ信号なしで間違った行動を起こす。
この分類をMalvaGuardで運用しています。これは、デプロイ前の静的コントラクトチェッカーで、57.3%の精度と76.8%のリコールを、追加の20のアプリケーションコーパスで実施しています。
関連論文リスト
- A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution [24.961077404259754]
大規模な言語モデルエージェントは、デスクトップアプリケーションの重要な新しいユーザクラスとして現れています。
既存のデスクトップインターフェースは、人間のエンドユーザーやアプリケーション開発者向けに設計された。
このミスマッチは、有能なエージェントさえも妨げうるが、どのインターフェースプロパティがデスクトップソフトウェアをエージェントが使いやすくするのかは不明だ。
論文 参考訳（メタデータ） (2026-10-11T16:43:43Z) - GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions [46.051182109000315]
状態と遷移の両方で構造化された故障解析を行う状態中心診断フレームワークである textbfGUITAR を提案する。
AndroidControlとMind2Webの8つのエージェントと6つのタスクを通じて、GUITARは、障害の60.4%が20%の州で発生していることを明らかにした。
ボトルネックを標的とした誘導はSRを2.8%改善し、7つのエージェントの平均1.88%の上昇を維持している。
論文 参考訳（メタデータ） (2026-09-28T01:48:48Z) - EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding [54.222234064832]
EvoGUIは、正規化されたGUI軌跡を3つの補完的な視覚的質問応答プローブに変換するフレームワークである。
私たちはMind2WebとWebLINXからEvoGUI-Benchをインスタンス化し、120ドメインで3,000のインスタンスを生成します。
最強のモデルは60.4 EvoGainにしか達しないが、モデルスケールとGUIの特殊化は性能を確実に予測しない。
論文 参考訳（メタデータ） (2026-07-19T03:29:08Z) - MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。
このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。
マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
論文 参考訳（メタデータ） (2026-07-13T17:13:09Z) - Covering Human Action Space for Computer Use: Data Synthesis and Benchmark [59.01879944842542]
コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。
しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。
複雑な相互作用におけるモデルの能力を評価するための新しいベンチマークCUActSpotを提案する。
論文 参考訳（メタデータ） (2026-05-12T17:59:58Z) - PlayCoder: Making LLM-Generated GUI Code Playable [30.115742334937977]
既存のベンチマークは主にテストケースを通じて正確さを評価するが、GUIアプリケーションには不十分である。
このベンチマークは、Python、TypeScript、JavaScriptの43の多言語GUIアプリケーションから構築された。
また、論理的エラーなしに、少なくとも1つの*k*生成候補をエンドツーエンドでプレイできるかどうかを測定する指標であるPlay@kを提案する。
論文 参考訳（メタデータ） (2026-04-21T17:59:16Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - GUITester: Enabling GUI Agents for Exploratory Defect Discovery [39.85961397079116]
GUIテストはソフトウェアの品質には不可欠だが、手作業のコストが高い。
2つのモジュールによる検証からナビゲーションを分離するフレームワークである textbfGUITester を提案する。
GuiTesterはGUITestBench上で48.90%(Pass@3)のF1スコアを達成した。
論文 参考訳（メタデータ） (2026-01-08T02:07:53Z) - AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。
私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。
AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-06-02T07:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。