論文の概要: PointerBench: A Diagnostic Benchmark for Fine-Grained GUI Grounding

• arxiv url: http://arxiv.org/abs/2610.31274v1
• Date: Thu, 22 Oct 2026 13:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.39006
• Title: PointerBench: A Diagnostic Benchmark for Fine-Grained GUI Grounding
• Title（参考訳）: PointerBench: 微粒なGUIグラウンドの診断ベンチマーク
• Abstract要約: 我々は,3つの補完機能を備えた1500のスクリーンショット-インストラクションペアの診断スイートであるPOINTERBENCHを紹介する。 汎用マルチモーダルモデルと39の専門GUIグラウンド構成を評価した。 これらの結果から、フロンティアやスペシャリストモデルにまたがる微粒なGUIグラウンドにおいて、かなりのヘッドルームが明らかとなった。
• 参考スコア（独自算出の注目度）: 38.30771740491681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models have shown promising performance in computer-use tasks, from planning user workflows to grounding natural-language actions to precise UI targets. Existing end-to-end benchmarks primarily emphasize long-horizon task completion, while GUI grounding benchmarks remain focused on conventional controls and a limited set of professional interfaces. We introduce POINTERBENCH, a diagnostic suite of 1,500 screenshot-instruction pairs probing three complementary capabilities: thin sub-element identification and geometric grounding in spreadsheets (POINTERBENCH-Sheets), character-level grounding in long-text documents (POINTERBENCH-Text), and mixed GUI grounding across 100 professional applications (POINTERBENCH-Pro). We carefully curate each task with pixel-exact target geometry and evaluate both general-purpose multimodal models and 39 specialist GUI grounding configurations. We find text grounding to be the most challenging setting, with Claude Fable 5, GPT-5.6 Sol, and the leading native specialist UI-Venus-2-9B achieving 69.6%, 53.4%, and 25.8% success on POINTERBENCH-Text despite respective 83.2%, 77.7%, and 54.5% average success across POINTERBENCH. These results reveal substantial headroom in fine-grained GUI grounding across frontier and specialist models. We publicly release the benchmark and evaluation code at https://github.com/warmwindOS/pointerbench.
• Abstract（参考訳）: マルチモーダル大規模言語モデルは、ユーザワークフローの計画から自然言語アクションの基盤化、正確なUIターゲットに至るまで、コンピュータ利用タスクにおいて有望なパフォーマンスを示している。 既存のエンドツーエンドのベンチマークは、主に長期のタスク補完を強調しているが、GUIの基盤ベンチマークは、従来のコントロールと限られたプロのインターフェイスに焦点を絞っている。 PINTERBENCHは,スプレッドシート(POINTERBENCH-Sheets)の細い部分要素識別と幾何学的グラウンド化,長文文書(POINTERBENCH-Text)の文字レベルのグラウンド化,100のプロフェッショナルアプリケーション(POINTERBENCH-Pro)の混合GUIグラウンド化という,1500のスクリーンショット命令ペアの診断スイートである。 我々は,各タスクを画素エクササイズターゲット幾何で慎重にキュレートし,汎用マルチモーダルモデルと39のGUIグラウンド構成の両方を評価する。 Claude Fable 5 GPT-5.6 Solと、ネイティブスペシャリストのUI-Venus-2-9Bが69.6%、53.4%、25.8%をPINTERBENCH-Textで達成したが、それぞれ83.2%、77.7%、54.5%がPINTERBENCHで成功している。 これらの結果から、フロンティアやスペシャリストモデルにまたがる微粒なGUIグラウンドにおいて、かなりのヘッドルームが明らかとなった。 ベンチマークと評価コードはhttps://github.com/warmwindOS/pointerbench.comで公開しています。

関連論文リスト

• TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents [37.00898251261264]
  本稿では,端末利用エージェントの汎用ベンチマークであるTUA-Benchを紹介する。 TUA-Benchには5つのタスクファミリーにわたる120の現実世界タスクが含まれている。 我々は最強のフロンティア・エージェントが65.8%の総合的なパフォーマンスを達成することを発見した。
  論文  参考訳（メタデータ） (2026-06-26T17:59:51Z)
• UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
  本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。 これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。 得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-10-23T07:18:32Z)
• Generalist Scanner Meets Specialist Locator: A Synergistic Coarse-to-Fine Framework for Robust GUI Grounding [53.14935624161711]
  GMS: Generalist Scanner Meets Specialist LocatorはGUIグラウンディングのパフォーマンスを効果的に改善する相乗的粗大なフレームワークです。 このデザインは、人間がGUIグラウンドを実行する方法にインスパイアされ、目がインターフェイスをスキャンし、脳が解釈と局所化に焦点を当てる。 ScreenSpot-Proデータセットの実験結果によると、'Scanner'モデルと'Locator'モデルは、それぞれ独立して使用する場合、それぞれ2.0%$と3.7%$の精度しか達成していないが、GMSフレームワークへの統合により、全体的な精度は35.7%$である。
  論文  参考訳（メタデータ） (2025-09-29T00:06:31Z)
• Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis [57.371814877372515]
  グラフィカルユーザインタフェース(GUI)の基盤は、コンピュータ利用エージェント開発において依然として重要なボトルネックとなっている。 多様なタスクタイプにまたがる564の細かな注釈付きサンプルからなる総合ベンチマークであるOSWorld-Gを紹介する。 我々は、400万のサンプルを含む、最大のコンピュータ利用基盤データセットであるJediを合成してリリースする。
  論文  参考訳（メタデータ） (2025-05-19T15:09:23Z)
• ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use [47.568491119335924]
  ScreenSpot-Proは,MLLMの高精細度プロセッティングにおける接地性能を厳格に評価するために設計された新しいベンチマークである。 このベンチマークは、専門家アノテーションを持つさまざまな専門家ドメインの本物の高解像度画像を含む。 本稿では,強力なプランナーのGUI知識を活かしたビジュアル検索手法であるScreenSeekeRを提案する。
  論文  参考訳（メタデータ） (2025-04-04T14:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。