論文の概要: VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards

• arxiv url: http://arxiv.org/abs/2610.26469v1
• Date: Mon, 19 Oct 2026 14:17:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:03:49.905021
• Title: VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards
• Title（参考訳）: VeriCUA: 信頼性の高いGUIエージェントリワードのための能動的検証学習
• Abstract要約: 単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。 オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。 GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
• 参考スコア（独自算出の注目度）: 52.80093616378547
• License:
• Abstract: Reinforcement learning for computer-use agents increasingly relies on proactive reward agents that interact with the post-execution GUI environment to verify what recorded screenshots cannot reveal. The reliability of such verification hinges on two coupled decisions: what to check and when to stop. Existing methods leave these decisions to prompted foundation models. However, neither scaling up the model nor providing few-shot examples reliably improves verification: prompted Judges ranging from 4B to GPT-5.4 all plateau at 68%-70% macro-average agreement. This is because the value of a check depends on the environment rather than the task alone, and becomes apparent only through execution. Learning from execution is itself constrained, as the Actor's terminal state cannot be faithfully replicated during training, allowing only one verification attempt per state. We introduce VeriCUA, a proactive reward agent that learns its verification strategy from these single attempts. A trainable Judge decides what to check and when to stop, while a frozen Probe executes the checks in the live environment. Online reinforcement learning optimizes the Judge for both verdict correctness and efficient Probe use, with returns normalized across terminal states. Trained only on OSWorld and evaluated without further training on MobileWorld and WebArena-Verified, VeriCUA achieves the highest reward agreement across all three benchmarks and lies on the agreement-cost Pareto frontier among proactive verifiers. It surpasses few-shot GPT-5.4 by 5.36 points with 47.6%-59.8% fewer Probe tokens, and even a 1B VeriCUA exceeds every prompted Judge. As the reward for Actor RL, it raises task success by 3.21 points overall and 5.40 points on held-out multi-application tasks. These results identify the verification strategy, not verifier scale, as the key to reliable GUI rewards.
• Abstract（参考訳）: コンピュータ利用エージェントの強化学習は、記録されたスクリーンショットが公開できないものを確認するために、実行後のGUI環境と相互作用するプロアクティブな報酬エージェントにますます依存している。 このような検証の信頼性は、何をチェックするか、いつ停止するかという2つの共通した決定に依存します。 既存の手法は、これらの決定を基礎モデルに委ねる。 4BからGPT-5.4までの全ての高原を68%から70%のマクロ平均合意で引き起こした。 これは、チェックの値はタスクのみではなく環境に依存するためであり、実行時にのみ明らかになるためである。 アクターの端末状態はトレーニング中に忠実に複製できないため、実行から学ぶことはそれ自体に制約がある。 本稿では,これらの単一の試みから検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。 トレーニング可能なジャッジは、何をチェックするか、いつ停止するかを決め、凍結したプローブは、ライブ環境でチェックを実行する。 オンライン強化学習は、判決の正確性と効率の良いプローブの使用の両方を最適化する。 OSWorldでのみトレーニングされ、MobileWorldとWebArena-Verifiedのさらなるトレーニングなしで評価され、VeriCUAは3つのベンチマークで最高の報酬契約を達成し、プロアクティブな検証者の間での契約コストの高いParetoフロンティアにある。 GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。 アクターRLの報酬として、タスク成功率は合計3.21ポイント、ホールドアウトされたマルチアプリケーションタスクでは5.40ポイント上昇する。 これらの結果は,信頼性の高いGUI報酬の鍵となる検証方法ではなく,検証戦略を識別する。

関連論文リスト

• StopLoss: Teaching Agents to Predict Failure and Stop Early [58.46247112300993]
  StopLossは、完成した軌跡とその検証結果から障害認識を学ぶ小さな外部モニタである。 StopLossは、実行が失敗する可能性がある場合に早期に実行を終了し、リソースを節約します。
  論文  参考訳（メタデータ） (2026-10-18T20:39:02Z)
• Verifier-Grounded Agentic RL for Provably Correct Code [20.989739880402407]
  私たちはエージェント環境を構築し、その両方に報酬を与えます。 報酬は、検証者の判断よりも、検証者の診断を読み取って、それが排出する証明義務の重み付けされた部分によって候補を採点する。 整合性監査は検証を上回り、仕様を変更したり、それを証明しようとすると仮定する候補を拒絶する。
  論文  参考訳（メタデータ） (2026-10-13T23:17:25Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling [29.825376781201285]
  共形自己検証を中心に構築されたトレーニングおよびテスト時間スケーリング手法であるCLIFTを紹介する。 訓練中、エージェントは自身のロールアウトに関する自然言語による検証質問に答える。 構成等式証明器は、URL条件の証拠が訓練時の裁判官と一致する質問信号のみを保持する。 試験時には、同じ認定銀行が凍結され、コンフォーマル軌道選択のための構造化された証拠として再利用される。
  論文  参考訳（メタデータ） (2026-10-05T17:57:51Z)
• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents [5.041247893188969]
  GAUGEは,ゲートのランクが確定可能な報酬と一致するかどうかを測定する,再利用可能なオフラインプロトコルである。 満足感は基本的にタスクの成功に関する情報を 含まないのです そこで我々は,無判定完備ビットをゼロコストトリップワイヤとしてトランニケーションレグレッションを補正するキャリブレート・テイントラストカデンスを提案する。
  論文  参考訳（メタデータ） (2026-09-10T20:29:28Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• The Art of Building Verifiers for Computer Use Agents [17.61915099226967]
  我々は,Universal Verifier(ユニバーサル検証)と呼ぶWebタスクのための最良クラス検証器の構築から学んだ教訓を提示する。 ユニバーサル検証は4つの重要な原則に基づいて設計する。 ベースラインと比較して偽陽性率がほぼゼロに低下したことを報告した。
  論文  参考訳（メタデータ） (2026-04-05T06:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。