論文の概要: Right Click, Wrong Box: Grading GUI Grounding by What a Click Does

• arxiv url: http://arxiv.org/abs/2610.36831v1
• Date: Tue, 27 Oct 2026 08:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.545881
• Title: Right Click, Wrong Box: Grading GUI Grounding by What a Click Does
• Title（参考訳）: 右クリック、右クリック、右クリック、右クリック:GUIのグラディング
• Abstract要約: ベンチマークでは、クリックを1つのアノテートボックス内でのみ正しいとみなすが、インターフェースは複数の要素を通して1つのアクションを公開することが多い。 実行時に、アノテートされたターゲットをクリックした結果と同じ結果になるクリック正解を呼び出します。 ページあたり約1000クリックの指紋を実行するプローブは、この定義を結果マップに変換する。
• 参考スコア（独自算出の注目度）: 7.882790741851022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leading GUI grounders score 93 to 96% on ScreenSpot-v2, and reported gaps between new and prior models are about a point. At this level the useful question is what the remaining errors are. Benchmarks count a click as correct only inside one annotated box, but interfaces often expose one action through several elements: a duplicated link, the label of a checkbox, the title next to a logo. The box is not wrong. The rule is incomplete. We call a click correct when executing it produces the same outcome as clicking the annotated target. A probe that executes and fingerprints about a thousand clicks per page turns this definition into outcome maps and an execution judge for live web applications, with no new annotation. We execute the predictions of three strong 7--8B grounders on a code forge and an online shop. About one in five and one in three of the clicks that box scoring rejects reach the intended outcome, and the shares remain one in seven and one in three when the instructions are rewritten as natural tasks. A blind audit of 11 models on ScreenSpot-v2 (three 7--8B grounders and eight 3B variants) finds the same effect on web screenshots, with two independent reviewers on a 60-unit subset. The share is highest for the strongest grounders. Training seeds and test-set sampling add noise that more runs and paired intervals control. Box scoring instead under-counts correct clicks, which repetition does not remove, and the audit-based correction of 0.2 to 1.8 points on ScreenSpot-v2 is as large as the gaps the field reports. The correction is needed in evaluation. In our 3B GRPO study, crediting equivalent clicks in the reward gives no stable gain over box rewards across three seeds and four test sets. We release the probe, the outcome maps, the audit and every prediction.
• Abstract（参考訳）: リードするGUIグラウンダはScreenSpot-v2で93～96%のスコアを獲得し、新しいモデルと以前のモデルのギャップを報告している。 このレベルで有用な疑問は、残りのエラーが何かということです。 ベンチマークは、クリックを1つの注釈付きボックス内でのみ正しいとみなすが、インターフェースは、重複リンク、チェックボックスのラベル、ロゴの隣のタイトルなど、いくつかの要素を通じて1つのアクションを公開することが多い。 箱は間違っていません。 その規則は不完全だ。 実行時に、アノテートされたターゲットをクリックしたのと同じ結果になるクリック正解を呼び出します。 ページあたり約1000クリックの指紋と実行を行うプローブは、この定義を結果マップとライブWebアプリケーションの実行ジャッジに変換するが、新しいアノテーションはない。 コードフォージとオンラインショップで,強烈な7-8Bグラウンドの予測を行う。 ボックススコアリングが拒否するクリックのうち、約5分の1と3分の1が意図した結果に達する。 ScreenSpot-v2(3つの7--8Bグライダーと8つの3B変種)の11モデルの盲目検査では、Webスクリーンショットにも同じ効果が見られ、60ユニットサブセットに2つの独立したレビュアーが存在する。 シェアは最強のグラウンダーにとって最高だ。 トレーニングシードとテストセットサンプリングは、より多くの実行とペア間隔制御を行うノイズを追加する。 Boxのスコアは、繰り返しは削除されず、ScreenSpot-v2の0.2から1.8ポイントの監査ベースの補正は、フィールドレポートのギャップと同じくらい大きい。 評価には修正が必要である。 本誌の3B GRPOの調査では、報酬のクリックは3つのシードと4つのテストセットのボックス報酬よりも安定している。 プローブ、結果マップ、監査、予測をすべてリリースします。

関連論文リスト

• VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
  単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。 オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。 GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
  論文  参考訳（メタデータ） (2026-10-19T14:17:33Z)
• AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
  AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。 同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
  論文  参考訳（メタデータ） (2026-10-08T01:03:48Z)
• Decoupling What from Where: How Should a Small GUI Grounding Model Receive the Action Type? [0.0]
  WildのAndroid版LoRAでQwen2-VL-2Bを微調整し、フラットなベースラインとマッチしたデータで型を供給する5つの方法を比較した。 5つのシード、エピソードクラスタリングブートストラップ、およびシードレベルのペアテストにより、混合ストリーム上のランキングが明確になる。
  論文  参考訳（メタデータ） (2026-10-05T21:50:50Z)
• The Selection Rule Decides the Winner: A Pre-Registered Audit of Open-Set Graph Anomaly Detection [6.608203615667378]
  オープンセットグラフ異常検出は、あるクラスからラベル付けされたいくつかの異常を訓練し、ラベル付けされていない異常も見つけなければならない。 我々は、この研究のために作られた小さな一階検出器であるOUTPOSTとともに、DEMOとNSRegの2つの新しい手法を再実行した。 ベストエポックルールでは、OUTPOSTとNSRegはそれぞれ7つのグラフのうち3つをリードし、検証ルールではNSRegは5つをリードする。
  論文  参考訳（メタデータ） (2026-09-27T08:54:07Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction [0.0]
  3人の開発者を対象にした8つのモデルと、ロボットが適用すべき動きについて尋ねます。 オープンプロンプトの下で、プッシュは64評価で1度生成され、19のオブジェクトのうち8つが正しいにもかかわらず、提案されたラベルセットに毎回表示される。 目標部分を命名すると、各モデルのアクション精度が0.158-0.474から0.684-0.947に0.32から0.63に上昇し、0-1/8から7-8/8にリコールされる。 オープンプロンプトの下のイメージを無視する一定の答えを負うモデルは存在しない。
  論文  参考訳（メタデータ） (2026-09-01T05:03:51Z)
• Certifying Compressed Language Models: An Audit and a Statistical Toolkit [0.0]
  正解率は, 正解率の約5倍であり, 正解率と正解率は同一であり, 個々の項目では相変わらず一致しない。 誰も有望な数値等価マージンを示しておらず、タスクマッチングされた各イテム出力はリリースしない。 欠落した機器: 宣言されたマージンでペア同値テストを行い、認定表に評価要求を与えます。
  論文  参考訳（メタデータ） (2026-08-15T05:15:35Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
  一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。 固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。 提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
  論文  参考訳（メタデータ） (2026-07-13T14:22:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。