論文の概要: GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution

• arxiv url: http://arxiv.org/abs/2610.00948v1
• Date: Thu, 01 Oct 2026 02:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.850775
• Title: GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution
• Title（参考訳）: GUI-HARVEST:エビデンス駆動のハーネス進化による自己改善型GUIエージェント
• Abstract要約: フリーズバックボーンモデルを用いた自己改善GUIエージェントであるGUI-HARVESTを導入する。 6つの汎用オープン、GUI特化オープン、プロプライエタリバックボーンモデルに対して、一貫したホールドアウトゲインを示す。
• 参考スコア（独自算出の注目度）: 31.17251293744921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The executable harness surrounding a GUI model determines how observations are assembled, actions are executed, and verification, recovery, and termination are controlled. Compared with harness optimization for non-GUI agents, automatically optimizing this harness poses three coupled challenges: reconciling model intent with observed visual effects, diagnosing failures under variable execution outcomes, and identifying recurrent failure patterns across tasks and translating them into reusable runtime changes. We introduce GUI-HARVEST, an automatic harness optimizer that enables self-improving GUI agents with frozen backbone models. First, to ground diagnosis in observed action effects, it aligns model outputs and executed actions with before-and-after screenshots, tying findings to specific interface transitions. Second, to account for execution variability, it treats repeated runs of the same task as a joint evidence unit, using within-task comparisons to locate outcome-relevant behavioral differences. Third, it consolidates verified findings across tasks into recurring failure patterns, maps them to bounded source-code edits with predictions recorded before evaluation, and checks the predicted behavioral effects alongside task performance through repeated execution. Experiments on OSWorld-Verified show consistent held-out gains across six general-purpose open, GUI-specialized open, and proprietary backbone models; Qwen3-VL-32B-Instruct gains 12.33 points on the full suite. Frozen-harness transfer improves GPT-5 by 13.87 percentage points on WindowsAgentArena at 50 steps without further optimization. With the same backbone and initial harness, GUI-HARVEST outperforms Self-Harness and Meta-Harness, suggesting that GUI-specific diagnosis and validation help harness improvements generalize to unseen tasks. The code is available at https://github.com/GaryYang12345/GUI-HARVEST.
• Abstract（参考訳）: GUIモデルを囲む実行可能なハーネスは、どのように観測が組み立てられ、アクションが実行され、検証、回復、終了が制御されるかを決定する。 非GUIエージェントのハーネス最適化と比較すると、このハーネスの自動最適化は、観察された視覚効果によるモデルのインテントの再構築、可変実行結果下での障害の診断、タスク間の繰り返し障害パターンの特定、再利用可能なランタイム変更への変換という3つの複合的な課題を伴っている。 本稿では,フリーズバックボーンモデルを用いたGUIエージェントの自己改善を実現する,GUI-HARVESTを提案する。 まず、観察されたアクションエフェクトの診断を行うため、モデル出力と実行されたアクションを前後のスクリーンショットと整列させ、結果と特定のインターフェース遷移を結びつける。 第二に、実行の変動を考慮し、共同エビデンスユニットとして同じタスクの繰り返し実行を、タスク内比較を用いて処理し、結果関連行動差を特定する。 第3に、検証済みの結果を繰り返し発生する障害パターンに集約し、評価前に記録された予測に基づいて、境界付きソースコード編集にマップし、繰り返し実行を通じてタスクのパフォーマンスとともに予測された振る舞い効果をチェックする。 OSWorld-Verifiedの実験では、6つの汎用オープン、GUI特化オープン、プロプライエタリバックボーンモデルに対して一貫したホールトアウトゲインを示し、Qwen3-VL-32B-Instructはフルスイートで12.33ポイントを獲得した。 凍結ハーネス転送は、さらなる最適化なしに、WindowsAgentArena上でGPT-5を13.87ポイント改善する。 同じバックボーンと初期ハーネスで、GUI-HARVESTはSelf-HarnessとMeta-Harnessより優れており、GUI固有の診断とバリデーションによって、改善が目に見えないタスクに一般化されることを示唆している。 コードはhttps://github.com/GaryYang12345/GUI-HARVESTで公開されている。

関連論文リスト

• DashAct: A Progressive Diagnostic Benchmark for GUI Agents in Interactive Dashboard Analysis [37.722409440590276]
  私たちが知る限りでは、DashActは、障害を同じダッシュボードタスク内のきめ細かいレベルで診断する最初のベンチマークです。 DashActには,マイルストン依存性と階層的ターゲットアノテーションを備えた,357の人間検証されたインタラクショントラジェクトリが含まれている。 その進歩的な診断カスケードは、エンドツーエンドの実行を評価し、検証済みコンテキストを次のアクション予測に復元し、ターゲットセマンティクスと視覚的接地のためのローカルビューを提供する。
  論文  参考訳（メタデータ） (2026-09-26T08:58:50Z)
• EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding [54.222234064832]
  EvoGUIは、正規化されたGUI軌跡を3つの補完的な視覚的質問応答プローブに変換するフレームワークである。 私たちはMind2WebとWebLINXからEvoGUI-Benchをインスタンス化し、120ドメインで3,000のインスタンスを生成します。 最強のモデルは60.4 EvoGainにしか達しないが、モデルスケールとGUIの特殊化は性能を確実に予測しない。
  論文  参考訳（メタデータ） (2026-07-19T03:29:08Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• A History-Aware Visually Grounded Critic for Computer Use Agents [70.50900668601969]
  HiViGは、実際のGUIトラジェクトリで訓練されたマルチモーダル批評家を中心に構築されたテストタイムフレームワークである。 テスト時には、HiViGは批判者をポリシー決定ループに統合し、マクロアクション履歴を提供する。 Visually Grounded critiqueは、現在のスクリーンショットに対する生の実行座標を検証して、実行前にエラーをインターセプトする。
  論文  参考訳（メタデータ） (2026-06-09T16:39:10Z)
• GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models [18.14416135619429]
  本稿では,モデルに反復的批判機能を持たせるためのトレーニングフレームワークであるGUI Action Critic's Data Flywheel System (GAIA)を提案する。 具体的には、ベースエージェントからの正および負のアクション例を用いて直観的批判モデル(ICM)を訓練する。 我々は様々なデータセットの実験を行い、提案したICMが様々なクローズドソースおよびオープンソースモデルの試験時間性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2026-01-26T06:29:41Z)
• GTA1: GUI Test-time Scaling Agent [97.58177633084915]
  グラフィカルユーザインタフェース(GUI)は、ユーザ命令をアクションプロポーザルに順次分解することで、プラットフォーム(例えばLinux)間で自律的にタスクを完了させる。 本稿では,前述の textbfGUI textbfTest-time Scaling textbfAgent,すなわち GTA1 の課題について検討する。
  論文  参考訳（メタデータ） (2025-07-08T08:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。