論文の概要: Why Are GUI Agents Correct but Late? Decode on the Decision-Time Critical Path, Tested with Pre-Compiled Policy Trees

• arxiv url: http://arxiv.org/abs/2607.28399v1
• Date: Thu, 30 Jul 2026 15:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.643773
• Title: Why Are GUI Agents Correct but Late? Decode on the Decision-Time Critical Path, Tested with Pre-Compiled Policy Trees
• Title（参考訳）: GUIエージェントはなぜ正確だが遅れているのか? 事前コンパイルされたポリシーツリーを用いた決定時間臨界経路のデコード
• Abstract要約: コンピュータ使用エージェントは、関連するウィンドウがクローズされた後にのみ正しいアクションを生成するため、過渡的なGUIイベントで失敗することが多い。 本稿では,モデルを変更することなく,この遅延を解消する適応予測ポリシーツリー(AAPT)を提案する。 ライトウェイトオブザーバは、変更ゲートフレームを準備されたブランチにマッチさせ、新しいテキストを生成することなく、即座に対応するアクションを実行する。
• 参考スコア（独自算出の注目度）: 13.145367841870412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-use agents often fail on transient GUI events because they produce the correct action only after the relevant window has already closed. We identify the main cause as expensive autoregressive decoding on the decision-time critical path. We propose Adaptive Anticipatory Policy Trees (AAPT), which eliminates this delay without modifying the underlying model. During idle screen periods, the same frozen multimodal model constructs a bounded conditional policy tree with observable guards, pre-authorized actions, and branch-specific deadlines. The tree is sized to cover the model's own decoding latency. When an event occurs, a lightweight observer matches change-gated frames to a prepared branch and immediately executes the corresponding action without generating new text. In paired trials with pre-registered endpoints and exact McNemar tests, AAPT improves the success rate from 0.50 to 0.79 within a contested decision window ($p=1.8\times10^{-3}$), while producing no incorrect actions. Both open-loop and predict-and-replan baselines achieve zero success because they still decode during execution. A preparation-time sweep shows that the gain emerges where the latency-based tree-sizing rule predicts, and ablations reveal three key requirements: fast observer decoding, valid tree planning, and accurate branch routing. A pre-registered oracle probe rejects our initial hypothesis and instead points to branch routing as the causal bottleneck. We further reproduce the effect on an independent general-purpose multimodal model over 126 paired trials ($p=4.9\times10^{-13}$). On an external benchmark, AAPT matches the overall performance of a reactive baseline, although the two methods exhibit complementary strengths. Together, these results suggest that AAPT performs best when candidate actions can be enumerated in advance, whereas reactive execution remains stronger when they cannot.
• Abstract（参考訳）: コンピュータ使用エージェントは、関連するウィンドウが既にクローズされた後にのみ正しいアクションを生成するため、過渡的なGUIイベントで失敗することが多い。 決定時間クリティカルパスにおける自己回帰復号化の費用がかかる原因を,本研究で確認した。 本稿では,適応予測ポリシーツリー (AAPT) を提案する。 アイドルスクリーン期間中、同じ凍結されたマルチモーダルモデルは、観測可能なガード、事前認可されたアクション、ブランチ固有の期限を備えた境界条件付きポリシーツリーを構築する。 ツリーのサイズは、モデル自身のデコード遅延をカバーする。 イベントが発生した場合、ライトウェイトオブザーバは、チェンジゲートフレームを準備されたブランチにマッチさせ、新しいテキストを生成することなく即座に対応するアクションを実行する。 事前登録されたエンドポイントと正確なマクネマールテストとのペアトライアルでは、AAPTは、競合する決定ウィンドウ(p=1.8\times10^{-3}$)内で、成功率を0.50から0.79に改善し、誤ったアクションは発生しない。 オープンループと予測と再計画の両方のベースラインは、実行中にデコードされるため、成功をゼロにする。 準備時間スイープでは、レイテンシベースのツリーサイズルールが予測される部分でゲインが出現し、アブレーションによって、高速なオブザーバデコーディング、有効なツリー計画、正確なブランチルーティングの3つの重要な要件が明らかになった。 事前登録されたオラクルプローブは、最初の仮説を拒絶し、代わりに分岐経路を因果ボトルネックとしている。 さらに、126対の試行(p=4.9\times10^{-13}$)に対して、独立した汎用マルチモーダルモデルに対する効果を再現する。 外部ベンチマークでは、AAPTはリアクティブベースライン全体のパフォーマンスと一致しているが、この2つの方法は相補的な長所を示している。 これらの結果から、AAPTは事前に候補アクションを列挙できる場合に最善を尽くすが、リアクティブ実行は不可能な時に強く働くことが示唆された。

関連論文リスト

• TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
  ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。 あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。 コールの削減を計測するが、オフラインのコンパイルコストはかからない。
  論文  参考訳（メタデータ） (2026-08-03T01:05:06Z)
• When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents [0.0]
  長い答えのLSMエージェントは静かに失敗する可能性があり、彼らは証拠を早期に読み上げ、残りの期間をその証拠を守るのに費やした。 我々は、表現的コミットメントを、固定された推論ステップにおいて、クロスランな隠れ状態収束として定義する。 ランタイムモニタは、AUROCの隠れ状態から0.97までの不整合軌道を検出する(より厳密なスプリットの下で0.85-0.88)。
  論文  参考訳（メタデータ） (2026-06-22T07:13:13Z)
• TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding [4.5881678566958985]
  パラレルドラフトに拡散モデルを用いることは、投機的復号法には有望なアプローチである。 単一のシーケンスの検証は受け入れ期間を制限し、大きなドラフトツリーの検証は過度なターゲットモデル遅延を引き起こす。 本稿では,拡散限界を経路条件付き受入推定値に変換するターゲット対応プレフィックス選択法TAPSを提案する。
  論文  参考訳（メタデータ） (2026-05-30T02:39:40Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Traversal Verification for Speculative Tree Decoding [15.720388162422978]
  投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。 本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。 提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-18T12:51:55Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Tree Search-Based Policy Optimization under Stochastic Execution Delay [46.849634120584646]
  遅延実行 MDP は、状態拡張に頼ることなく、ランダムな遅延に対処する新しい形式である。 観測された遅延値から、マルコフポリシーのクラスでポリシー探索を行うのに十分であることを示す。 我々はマルコフポリシーのクラスを最適化するモデルベースのアルゴリズムであるDEZを考案した。
  論文  参考訳（メタデータ） (2024-04-08T12:19:04Z)
• Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
  Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。 Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:50Z)
• Bandit Linear Optimization for Sequential Decision Making and Extensive-Form Games [102.23975166536326]
  tree-form sequential decision making (tfsdm) は、エージェントと潜在的に敵対的な環境の間のツリー形式の相互作用をモデル化することで、古典的なワンショット意思決定を拡張する。 これは、各プレイヤーが幅広い形式のゲームで直面するオンライン意思決定問題、およびマルコフ決定プロセス、およびエージェントが観測された履歴を条件とする部分観察可能なマルコフ決定プロセスをキャプチャする。 本稿では, (i) 線形時間損失と (ii) $o(sqrtt)$ cumulative regret の両方を提供する拡張dmのバンディット線形最適化問題に対する最初のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T05:00:13Z)
• Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
  本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。 実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。 我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-01-28T13:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。