論文の概要: FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting

• arxiv url: http://arxiv.org/abs/2604.27974v1
• Date: Thu, 30 Apr 2026 15:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.156574
• Title: FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting
• Title（参考訳）: FineState-Bench: きめ細かいGUI状態設定のための状態定義グラウンドのベンチマーク
• Authors: Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen,
• Abstract要約: FineState-Benchは、エージェントが意図したUIコントロールに正しく命令を接地し、正確なターゲット状態に到達できるかどうかを評価するベンチマークである。 FineState-Benchは、デスクトップ、Web、モバイルプラットフォーム全体で2,209のインスタンスで構成され、4つのインタラクションファミリと23のUIコンポーネントタイプにまたがっている。
• 参考スコア（独自算出の注目度）: 26.181584493872382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the rapid progress of large vision-language models (LVLMs), fine-grained, state-conditioned GUI interaction remains challenging. Current evaluations offer limited coverage, imprecise target-state definitions, and an overreliance on final-task success, obscuring where and why agents fail. To address this gap, we introduce \textbf{FineState-Bench}, a benchmark that evaluates whether an agent can correctly ground an instruction to the intended UI control and reach the exact target state. FineState-Bench comprises 2,209 instances across desktop, web, and mobile platforms, spanning four interaction families and 23 UI component types, with each instance explicitly specifying an exact target state for fine-grained state setting. We further propose \textit{FineState-Metrics}, a four-stage diagnostic pipeline with stage-wise success rates: Localization Success Rate (SR@Loc), Interaction Success Rate (SR@Int), Exact State Success Rate at Locate (ES-SR@Loc), and Exact State Success Rate at Interact (ES-SR@Int), and a plug-and-play \textit{Visual Diagnostic Assistant} (VDA) that generates a Description and a bounding-box Localization Hint to diagnose visual grounding reason via controlled w/ vs.\ w/o comparisons. On FineState-Bench, exact goal-state success remains low: ES-SR@Int peaks at 32.8\% on Web and 22.8\% on average across platforms. With VDA localization hints, Gemini-2.5-Flash gains +14.9 ES-SR@Int points, suggesting substantial headroom from improved visual grounding, yet overall accuracy is still insufficient for reliable fine-grained state-conditioned interaction \href{https://github.com/FengxianJi/FineState-Bench}{Github.}
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の急速な進歩にもかかわらず、粒度の細かい状態条件のGUIインタラクションは依然として困難である。 現在の評価では、限定的なカバレッジ、不正確な目標状態の定義、最終タスクの成功への過度な信頼、そしてエージェントが失敗する場所と理由が明らかになっている。 このギャップに対処するために、エージェントが意図したUIコントロールに命令を正しく接地し、正確なターゲット状態に到達できるかどうかを評価するベンチマークである \textbf{FineState-Bench} を導入する。 FineState-Benchはデスクトップ、Web、モバイルプラットフォーム全体で2,209のインスタンスで構成され、4つのインタラクションファミリと23のUIコンポーネントタイプにまたがる。 さらに,局部化成功率 (SR@Loc), インタラクション成功率 (SR@Int), ローカテにおける実行状態成功率 (ES-SR@Loc), インターアクティクスにおける実行状態成功率 (ES-SR@Int), 記述とバウンディングボックスのローカライゼーションHintを生成できるプラグイン・アンド・プレイ \textit{Visual Diagnostic Assistant} (VDA) という,段階的に成功した4段階の診断パイプラインを提案する。 w/o の比較。 FineState-Benchでは、ES-SR@IntのピークはWebで32.8\%、プラットフォームで平均22.8\%である。 VDAローカライゼーションのヒントにより、Gemini-2.5-Flash は +14.9 ES-SR@Int ポイントを獲得し、視覚的グラウンディングの改善による相当なヘッドルームを示唆するが、全体的な精度は信頼性の高い粒度の状態条件のインタラクションである \href{https://github.com/FengxianJi/FineState-Bench}{Github には不十分である。 ※

関連論文リスト

• HUGE-Bench: A Benchmark for High-Level UAV Vision-Language-Action Tasks [73.62053624331227]
  Huge-Benchは高レベルUAVビジョンランゲージ・アクションのベンチマークである。 4つの現実世界のデジタルツインシーン、8つのハイレベルタスク、2.56mの軌跡からなる。 プロセスの忠実度、終端精度、安全性を評価するために、プロセス指向および衝突認識メトリクスを導入する。
  論文  参考訳（メタデータ） (2026-03-20T10:08:42Z)
• AdaSpot: Spend Resolution Where It Matters for Precise Event Spotting [59.31340724915079]
  イベントスポッティングは、スポーツ分析、ロボティクス、自律システムにおけるアプリケーションにとって重要なタスクである。 bfAdaSpotは厳格な評価基準の下で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-25T16:24:48Z)
• GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
  GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。 GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。 そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
  論文  参考訳（メタデータ） (2026-02-09T18:52:02Z)
• FineState-Bench: A Comprehensive Benchmark for Fine-Grained State Control in GUI Agents [12.315613848863784]
  ファインステートベンチ(FinState-Bench)は,GUIプロキシ操作のための評価および診断標準である。 FineState-Benchには4つのコンポーネントに2257のタスクベンチマークが含まれており、知覚制御評価に4フェーズインジケータを使用している。 我々の診断フレームワークは、現在のGUIプロキシの最大のボトルネックが基本的な視覚的位置決め能力であることを初めて確認します。
  論文  参考訳（メタデータ） (2025-08-12T15:12:42Z)
• Phi-Ground Tech Report: Advancing Perception in GUI Grounding [55.44475003199647]
  textbfPhi-Groundモデルファミリは、5つのグラウンドベンチマークで最先端のパフォーマンスを達成する。 textittextbf43.2 on ScreenSpot-pro と textittextbf27.2 on UI-Vision
  論文  参考訳（メタデータ） (2025-07-31T17:59:09Z)
• Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
  Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。 ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
  論文  参考訳（メタデータ） (2021-03-18T08:47:56Z)
• From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap [41.577548543163196]
  本稿では,モデルアーキテクチャとデータセットという2つの観点から,状態追跡における機械学習理解(RC)の利用を提案する。 本手法は,MultiWOZ 2.1の完全トレーニングデータを用いて,現在最先端のゴール精度に近い精度で達成されている。
  論文  参考訳（メタデータ） (2020-04-13T09:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。