論文の概要: IGG: A Benchmark for Interactive GUI Grounding under Visibility Constraints
- arxiv url: http://arxiv.org/abs/2610.32536v1
- Date: Fri, 23 Oct 2026 12:14:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.511953
- Title: IGG: A Benchmark for Interactive GUI Grounding under Visibility Constraints
- Title（参考訳）: IGG:可視性制約下でのインタラクティブGUIグラウンドのベンチマーク
- Abstract要約: 対話型GUIグラウンディング(IGG)は、エージェントがまず対話を通じてターゲットを可視化し、次にクリックしなければならないベンチマークである。
ヒトの研究では、参加者の精度は94.6%、GPT-5.5は79.4%、最も評価の高いオープンソースVLMは31.6%である。
この能力は学習可能であり、モデルファミリ間で可視性回復が一貫して強化可能であることを示す。
- 参考スコア（独自算出の注目度）: 25.532863390454207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI grounding benchmarks ask whether an agent can localize a target that is already visible in a static screenshot. Real interfaces often violate this assumption: a target may be off-screen, appear only after a state change or hover, remain occluded, or become actionable after a delay. This leaves the ability to recover target visibility unevaluated. To measure this reveal step, we introduce Interactive GUI Grounding (IGG), a benchmark in which an agent must first make the target visible through interaction and then click it. IGG contains 601 tasks across 16 controllable GUI environments and seven visibility-constraint sub-types, with a compact action space of scrolling, moving, dragging, waiting, and clicking. In our human study, participants achieve 94.6% accuracy, while GPT-5.5 reaches 79.4% and the strongest evaluated open-source VLM reaches only 31.6%. To identify the source of this gap, we conduct two controlled interventions. Telling Qwen3-VL which interaction to perform raises its accuracy only from 30.8% to 33.9%, whereas performing the interaction for the model raises it to 81.9%. The bottleneck is executing the reveal interaction, not recognizing the target once it is exposed. We further show that this capability is learnable, demonstrating that visibility recovery can be strengthened consistently across model families.
- Abstract（参考訳）: GUIグラウンディングベンチマークは、エージェントが静的スクリーンショットですでに見えるターゲットをローカライズできるかどうかを問う。
ターゲットはオフスクリーンで表示され、状態変更後にのみ表示され、ホバリングされるか、無視されるか、遅延後に動作可能である。
これにより、ターゲットの視界を回復する能力は未評価のまま残される。
このステップを計測するために、Interactive GUI Grounding (IGG) というベンチマークを導入する。
IGGには16のコントロール可能なGUI環境に601のタスクがあり、7つの可視性制約のあるサブタイプがあり、スクロール、移動、ドラッグ、待機、クリックといったコンパクトなアクションスペースがある。
ヒトの研究では、参加者の精度は94.6%、GPT-5.5は79.4%、最も評価の高いオープンソースVLMは31.6%である。
このギャップの原因を特定するために、我々は2つの制御された介入を行う。
相互作用を行うQwen3-VLの精度は30.8%から33.9%に向上する一方、モデルの相互作用を実行すると81.9%に向上する。
ボトルネックは、露出したターゲットを認識するのではなく、明示的なインタラクションを実行することだ。
さらに、この能力は学習可能であることを示し、可視性回復がモデルファミリ間で一貫して強化可能であることを示す。
関連論文リスト
- Learn from Move: the Next Step for GUI Agents [51.90802532969377]
制御に必要なエビデンスによって編成された3つのマッチングペアの6つのタスクのベンチマークであるLatentGUIWorldを紹介した。
ボタンイベントから移動を分離し、中間的な視覚フィードバックを公開するMOVEを紹介する。
ジョイント・RLはさらにエゴ・ドラグセンティブとテン・チョイスの成功を92.0%と75.3%に引き上げている。
論文 参考訳（メタデータ） (2026-10-12T12:52:21Z) - Beyond the Current Scene: Event-Referential Grasping with Active View Selection [58.13862796903706]
ゼロショットロボット把握システムであるBeyondSCeを紹介する。
システムは、要求されたオブジェクトまたは部分を特定し、それを把握するためにローカライズする。
達成率76%、達成目標77%を達成している。
論文 参考訳（メタデータ） (2026-09-30T09:27:02Z) - RoboChrono: A Real Robot Benchmark for Streaming Task Understanding [33.92530084538482]
RoboChronoは、実際のロボットの実行と人間の記録から構築されたストリーミングタスク理解のためのベンチマークである。
このベンチマークは、認識、アライメント、時間的接地、行動理解と予測、視覚的対応、時間的順序付け、行動ローカライゼーションを含む7つのタスクを評価する。
論文 参考訳（メタデータ） (2026-09-29T03:21:32Z) - DashAct: A Progressive Diagnostic Benchmark for GUI Agents in Interactive Dashboard Analysis [37.722409440590276]
私たちが知る限りでは、DashActは、障害を同じダッシュボードタスク内のきめ細かいレベルで診断する最初のベンチマークです。
DashActには,マイルストン依存性と階層的ターゲットアノテーションを備えた,357の人間検証されたインタラクショントラジェクトリが含まれている。
その進歩的な診断カスケードは、エンドツーエンドの実行を評価し、検証済みコンテキストを次のアクション予測に復元し、ターゲットセマンティクスと視覚的接地のためのローカルビューを提供する。
論文 参考訳（メタデータ） (2026-09-26T08:58:50Z) - Desktop-Delta Bench: Do Computer-Use Models Understand Desktop GUI Transitions? [3.9561795512466413]
現在のベンチマークは、主にエンドタスクの成功または単一フレームグラウンドを測定する。
推論、リモート入力、アプリのレンダリング、スクリーンショットキャプチャが非同期であるため、これは難しい。
オフラインのステップレベルベンチマークであるDesktop-Delta Bench (DDB)を紹介した。
論文 参考訳（メタデータ） (2026-07-28T17:49:51Z) - UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。
これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。
得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-10-23T07:18:32Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents [13.415165482033395]
環境制約に違反したり、GUIエージェントの現在の能力を超えたりするアウト・オブ・ディストリビューション(OOD)命令は、タスクの故障やセキュリティ上の脅威を引き起こす可能性がある。
従来のOOD検出手法は、複雑な埋め込み空間とGUI環境の進化により、この領域でサブ最適化される。
本稿では,その機能境界を反映したGUIエージェントから抽出した入力埋め込み距離にガウス混合モデルを適用する新しい手法であるGEMを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:29:05Z) - Visual Test-time Scaling for GUI Agent Grounding [61.609126885427386]
視覚言語モデルエージェントのための視覚的テスト時間スケーリングアプローチであるRereaFocusを紹介する。
提案手法は, 局所的に動的にズームインし, 背景乱れを低減し, 接地精度を向上する。
我々はScreenspot-proで28%、WebVoyagerベンチマークで24%の大幅なパフォーマンス向上を観察した。
論文 参考訳（メタデータ） (2025-05-01T17:45:59Z) - Are your apps accessible? A GCN-based accessibility checker for low vision users [22.747735521796077]
本稿では,グラフィカルユーザインタフェースをグラフとして表現し,グラフ畳み込みニューラルネットワーク(GCN)を用いて,アクセス不能なコンポーネントのラベル付けを行う,ALVINという新しいアプローチを提案する。
48アプリの実験では、ALVINの精度は83.5%、リコールは78.9%、F1スコアは81.2%で、ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2025-02-20T06:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。