論文の概要: A History-Aware Visually Grounded Critic for Computer Use Agents

• arxiv url: http://arxiv.org/abs/2606.11078v1
• Date: Tue, 09 Jun 2026 16:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.617151
• Title: A History-Aware Visually Grounded Critic for Computer Use Agents
• Title（参考訳）: コンピュータ利用エージェントのための履歴認識型視覚的批判
• Authors: Jaewoo Lee, Zaid Khan, Archiki Prasad, Justin Chih-Yao Chen, Supriyo Chakraborty, Kartik Balasubramaniam, Sambit Sahu, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal,
• Abstract要約: HiViGは、実際のGUIトラジェクトリで訓練されたマルチモーダル批評家を中心に構築されたテストタイムフレームワークである。 テスト時には、HiViGは批判者をポリシー決定ループに統合し、マクロアクション履歴を提供する。 Visually Grounded critiqueは、現在のスクリーンショットに対する生の実行座標を検証して、実行前にエラーをインターセプトする。
• 参考スコア（独自算出の注目度）: 70.50900668601969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various test-time interventions for Computer Use Agents (CUAs), including critic models, have been developed to improve performance through pre-execution action evaluation in complex Graphical User Interface (GUI) environments. However, existing critics suffer from two key limitations: they (1) focus primarily on short-sighted decision loops (e.g., forgetting earlier actions) and (2) lack the visual grounding needed to detect flawed actions (e.g., clicking wrong UI elements). To address these, we introduce HiViG, a History-aware Visually Grounded test-time framework, built around a multimodal critic trained on real GUI trajectories to abstract past interactions into a compact record and to evaluate actions with visual grounding. At test time, HiViG integrates the critic into the policy decision loop to provide macro-action history, which summarizes the policy's completed achievements, and visually grounded critique, which verifies raw execution coordinates against the current screenshot to intercept errors before execution. Across web, mobile, and desktop benchmarks, HiViG consistently outperforms existing scalar and verbal critics, improving average success rates over the strongest baseline by 5.8% for Qwen3-VL-32B and 9.0% for Gemini-3-Flash, and demonstrates strong cross-platform generalization. Ablations show that macro-action history mitigates short-sighted planning and visually grounded critique reduces execution errors, with both components being critical for test-time scaling in long-horizon GUI tasks.
• Abstract（参考訳）: 複雑なグラフィカルユーザインタフェース(GUI)環境での事前実行動作評価により,コンピュータ利用エージェント(CUA)に対する様々な試験時間介入が,性能向上のために開発された。 しかし、既存の批評家は2つの重要な制限に悩まされている。(1) 主に短期的な決定ループ(例えば、以前のアクションを忘れる)に焦点を当て、(2) 欠陥のあるアクション(例えば、間違ったUI要素をクリックする)を検出するのに必要な視覚的基盤を欠いている。 このような問題に対処するために、HiViGは履歴を意識したビジュアルグラウンドテストタイムフレームワークであり、実際のGUIトラジェクトリに基づいて訓練されたマルチモーダルな批評家を中心に構築され、過去のインタラクションをコンパクトなレコードに抽象化し、視覚的グラウンドディングによるアクションを評価する。 テスト時に、HiViGは批評家をポリシー決定ループに統合し、ポリシーの完了した成果を要約したマクロアクション履歴と、現在のスクリーンショットに対する生の実行座標を検証して実行前にエラーをインターセプトする視覚的根拠付き批評を提供する。 ウェブ、モバイル、デスクトップのベンチマーク全体で、HiViGは既存のスカラーや口頭での批判を一貫して上回り、Qwen3-VL-32Bは5.8%、Gemini-3-Flashは9.0%、クロスプラットフォームの一般化は強い。 マクロアクション履歴は短期的な計画を緩和し、視覚的に座屈した批判は実行エラーを減らし、両コンポーネントは長期GUIタスクにおけるテストタイムスケーリングに欠かせない。

関連論文リスト

• VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies [58.65913948991329]
  正確な低レイテンシVLAポリシーのためのビジュアル中間推論フレームワークであるVISUALTHINK-VLAを提案する。 私たちのブートストラップ哲学は、効果的な視覚的思考でアクションを導くことです。 これは、デコードオーバーヘッドを回避しながら空間的精度を保った、コンパクトなビジュアル・エビデンスインターフェースを通じてアクション予測をブートストラップする。
  論文  参考訳（メタデータ） (2026-05-28T14:36:53Z)
• GUITestScape: Towards Open-set Evaluation on Exploratory GUI Testing [23.562168946315804]
  実世界の61のAndroidアプリケーションと,インタラクションとディスプレイタイプにまたがる508のプリセット欠陥をカバーする対話型ベンチマークを提案する。 GUIJudgeはエージェントのテスト軌道を独立して診断可能な機能に分解するオープンセット評価器である。
  論文  参考訳（メタデータ） (2026-05-28T07:47:27Z)
• See, Point, Refine: Multi-Turn Approach to GUI Grounding with Visual Feedback [8.080056970922483]
  Computer Use Agents (CUA) は基本的にグラフィカルユーザインタフェース(GUI)に依存しており、言語命令を実行可能なスクリーンアクションに変換する。 既存のアプローチは通常単発座標予測に依存しており、誤り訂正のメカニズムが欠如しており、しばしば高密度インタフェースで失敗する。 本稿では,符号化環境における画素精度カーソルのローカライゼーションに関する実証的研究を行う。 我々は,GPT-5.4,Claude,Qwenにまたがるアプローチを複雑な符号化ベンチマークで評価し,マルチターン改良が,クリック精度とクリック精度の両方において,最先端のシングルショットモデルよりも著しく優れていることを示した。
  論文  参考訳（メタデータ） (2026-04-14T17:55:46Z)
• GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
  GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。 GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。 そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
  論文  参考訳（メタデータ） (2026-02-09T18:52:02Z)
• GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models [18.14416135619429]
  本稿では,モデルに反復的批判機能を持たせるためのトレーニングフレームワークであるGUI Action Critic's Data Flywheel System (GAIA)を提案する。 具体的には、ベースエージェントからの正および負のアクション例を用いて直観的批判モデル(ICM)を訓練する。 我々は様々なデータセットの実験を行い、提案したICMが様々なクローズドソースおよびオープンソースモデルの試験時間性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2026-01-26T06:29:41Z)
• OS-Oracle: A Comprehensive Framework for Cross-Platform GUI Critic Models [54.44308299945632]
  クロスプラットフォームGUI批判データのためのスケーラブルなデータパイプライン、教師付き微調整と一貫性保護グループによる相対的なポリシー最適化を組み合わせた2段階のトレーニングパラダイム、モバイル、Web、デスクトッププラットフォームにおける批判モデルのパフォーマンスを評価するための総合ベンチマークであるOS-Critic Benchの3つのコアコントリビューションを紹介します。 結果として得られた批判モデルであるOS-Oracle-7Bは、OS-Critic Bench上のオープンソースのVLMの最先端のパフォーマンスを達成し、モバイルドメインのプロプライエタリモデルを上回っている。
  論文  参考訳（メタデータ） (2025-12-18T08:29:50Z)
• Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
  実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。 そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。 我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T04:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。