論文の概要: GUI Knowledge Bench: Revealing the Knowledge Gap Behind VLM Failures in GUI Tasks

• arxiv url: http://arxiv.org/abs/2510.26098v1
• Date: Thu, 30 Oct 2025 03:22:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.641517
• Title: GUI Knowledge Bench: Revealing the Knowledge Gap Behind VLM Failures in GUI Tasks
• Title（参考訳）: GUIナレッジベンチ:GUIタスクにおけるVLM失敗の背後にある知識ギャップを明らかにする
• Authors: Chenrui Shi, Zedong Yu, Zhi Gao, Ruining Feng, Enqi Liu, Yuwei Wu, Yunde Jia, Liuyu Xiang, Zhaofeng He, Qing Li,
• Abstract要約: 大きな視覚言語モデル(VLM)は高度なグラフィカルユーザインタフェース(GUI)タスクの自動化があるが、それでも人間より遅れている。 このギャップは、既存のトレーニングスキームだけでは十分に対処できない、コアGUI知識の欠如に起因していると仮定する。 GUIタスク実行における一般的な障害パターンを解析することにより、GUI知識を3次元に抽出する。
• 参考スコア（独自算出の注目度）: 41.09122223355117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision language models (VLMs) have advanced graphical user interface (GUI) task automation but still lag behind humans. We hypothesize this gap stems from missing core GUI knowledge, which existing training schemes (such as supervised fine tuning and reinforcement learning) alone cannot fully address. By analyzing common failure patterns in GUI task execution, we distill GUI knowledge into three dimensions: (1) interface perception, knowledge about recognizing widgets and system states; (2) interaction prediction, knowledge about reasoning action state transitions; and (3) instruction understanding, knowledge about planning, verifying, and assessing task completion progress. We further introduce GUI Knowledge Bench, a benchmark with multiple choice and yes/no questions across six platforms (Web, Android, MacOS, Windows, Linux, IOS) and 292 applications. Our evaluation shows that current VLMs identify widget functions but struggle with perceiving system states, predicting actions, and verifying task completion. Experiments on real world GUI tasks further validate the close link between GUI knowledge and task success. By providing a structured framework for assessing GUI knowledge, our work supports the selection of VLMs with greater potential prior to downstream training and provides insights for building more capable GUI agents.
• Abstract（参考訳）: 大きな視覚言語モデル(VLM)は高度なグラフィカルユーザインタフェース(GUI)タスクの自動化があるが、それでも人間より遅れている。 このギャップは、既存のトレーニングスキーム(教師付き微調整や強化学習など)だけでは十分に対処できない、コアGUI知識の欠如に起因していると仮定する。 GUIタスク実行における一般的な障害パターンを解析することにより,GUI知識を,(1)インタフェース認識,ウィジェットとシステム状態の認識に関する知識,(2)インタラクション予測,推論動作状態遷移に関する知識,(3)指示理解,計画に関する知識,検証,タスク完了の進捗評価の3次元に分割する。 GUI Knowledge Benchは、Web、Android、MacOS、Windows、Linux、IOS)と292のアプリケーションにまたがる、複数の選択肢とイエス/ノーの質問を持つベンチマークです。 評価の結果,現在のVLMはウィジェット関数を識別するが,システム状態の認識や動作予測,タスク完了の検証に苦慮していることがわかった。 実世界のGUIタスクの実験は、GUI知識とタスク成功の密接な関係をさらに検証する。 GUIの知識を評価するための構造化されたフレームワークを提供することで、下流のトレーニングの前に大きな可能性を持つVLMの選択を支援し、より有能なGUIエージェントを構築するための洞察を提供する。

関連論文リスト

• GUI-explorer: Autonomous Exploration and Mining of Transition-aware Knowledge for GUI Agent [66.34801160469067]
  MLLMはUIコンポーネントの誤解釈と古い知識の2つの大きな問題に悩まされている。 本稿では,2つの基本的なメカニズムを組み込んだトレーニング不要なGUIエージェントであるGUI-Explorerを提案する。 SPA-Benchでは53.7%、AndroidWorldでは47.4%のタスク成功率で、GUI-ExplorerはSOTAエージェントよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-05-22T16:01:06Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,画像LLMやビデオLLMなどの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
  タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。 この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。 また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
  論文  参考訳（メタデータ） (2024-01-17T08:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。