論文の概要: PastForward: Faster On-Device GUI Agents via Computational Experience Reuse
- arxiv url: http://arxiv.org/abs/2609.32166v1
- Date: Sat, 26 Sep 2026 02:41:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 19:18:43.027202
- Title: PastForward: Faster On-Device GUI Agents via Computational Experience Reuse
- Title（参考訳）: PastForward: 計算エクスペリエンス再利用によるデバイス上のGUIエージェントの高速化
- Abstract要約: PastForwardは、GUIエージェントを検証済みできめ細かい計算経験の再利用によって高速化するシステムである。
デバイス上では、PasForwardはタスク成功率を維持しながら、アクションステップのレイテンシの1.63-2.36$times$を達成している。
- 参考スコア（独自算出の注目度）: 11.396875932784491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Running GUI agents on edge devices can keep sensitive screens and interaction histories local, but the computational cost of inference at every action step makes deployment challenging. Existing GUI agent systems either perform full vision-language model (VLM) inference at each action step or reuse coarse-grained knowledge matched to prior tasks. However, dynamic mobile environments and user tasks make it difficult to fully utilize prior task executions without additional fine-tuning or task-specific offline exploration. To address this challenge, we present PastForward, a system that accelerates GUI agents through validated, fine-grained reuse of computational experience accumulated during ordinary task execution. During decoding, PastForward retrieves prior output sequences as device-adaptive multi-token proposals and verifies them in a single VLM forward pass. Across action steps, it uses prior GUI transitions to begin next-step inference while the device executes the current action, retains the early computation only when the predicted screen matches the observed screen, and carries reusable KV states forward. We evaluate PastForward on AndroidWorld workloads derived from real mobile usage patterns using multiple VLM backbones across server and edge platforms. On device, PastForward achieves action-step latency speedups of 1.63-2.36$\times$ while maintaining task success rates.
- Abstract（参考訳）: エッジデバイス上でGUIエージェントを実行すると、センシティブなスクリーンやインタラクション履歴をローカルに保持することができるが、すべてのアクションステップにおける推論の計算コストは、デプロイを難しくする。
既存のGUIエージェントシステムは、各アクションステップで完全な視覚言語モデル(VLM)を推論するか、または以前のタスクと一致した粗い粒度の知識を再利用する。
しかし、動的なモバイル環境やユーザタスクは、追加の微調整やタスク固有のオフライン探索を行うことなく、以前のタスク実行を完全に活用することは困難である。
この課題に対処するため,通常のタスク実行中に蓄積した計算経験の詳細な再利用を検証し,GUIエージェントを高速化するシステムであるPathForwardを提案する。
復号中、PassForwardはデバイス適応型マルチトークンの提案として事前の出力シーケンスを検索し、単一のVLMフォワードパスで検証する。
アクションステップ全体にわたって、デバイスが現在のアクションを実行している間に次のステップ推論を開始するために、前のGUIトランジションを使用し、予測されたスクリーンが観察された画面と一致する場合にのみ早期の計算を保持し、再利用可能なKVステートを前方に転送する。
サーバとエッジプラットフォームにまたがる複数のVLMバックボーンを用いて,実際のモバイル利用パターンから派生したAndroidWorldワークロードのPathForwardを評価する。
デバイス上では、PasForwardはタスク成功率を維持しながら、アクションステップのレイテンシの1.63-2.36$\times$を達成している。
関連論文リスト
- EchoPath: Execution-Level Replayable Memory for GUI Agents [45.101663136838916]
本稿では,アーチファクト検証されたGUIトラジェクトリを標準化されたパラメータ制御型コール可能なメモリに変換する,モデルに依存しないハーネスであるEchoPathを紹介する。
各メモリにはタスクインテントキー、アプリケーションと状態の事前条件、フレキシブルな入力パラメータ、GUIエビデンス、バリデーション証明、ライフサイクル状態が格納される。
実際のコンピュータ使用タスクの実験では、EchoPathは中央値トークンのコストを90%以上削減し、中央値の実行時間を約60%削減した。
論文 参考訳（メタデータ） (2026-09-15T04:56:17Z) - A Task-State Representation for Long-Horizon Mobile GUI Agents [53.359524744953575]
Task-State Representation (TSR)は、感覚入力からタスク状態を明示的に分離する、トレーニング不要のフレームワークである。
4つのモバイルGUIベンチマークによる実験では、TSRの有効性が検証され、成功率が12ポイントまで向上した。
論文 参考訳（メタデータ） (2026-07-01T06:37:21Z) - Mem-W: Latent Memory-Native GUI Agents [50.87647372904382]
本稿では,メモリをエージェントの連続的コンテキストの一部として扱う,潜在メモリネイティブなGUIエージェントであるMem-Wを紹介する。
4つのWebおよびモバイルナビゲーションベンチマークで、Mem-Wはさまざまなバックボーンとメモリ拡張ベースラインを一貫して改善している。
論文 参考訳（メタデータ） (2026-05-10T04:31:23Z) - PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents [32.98769345205729]
PIRA-Benchは、マルチモーダルな大規模言語モデル(MLLM)を、連続的、弱い教師付き視覚入力で評価するための新しいベンチマークである。
本稿では,複数のタスクスレッドを管理し,誤った視覚的入力を処理する汎用MLLMを実現する,メモリ対応の状態追跡フレームワークであるPIRFベースラインを提案する。
論文 参考訳（メタデータ） (2026-03-09T06:41:32Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z) - GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳（メタデータ） (2025-11-06T12:19:02Z) - ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。
本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-20T15:28:38Z) - End-to-end Temporal Action Detection with Transformer [86.80289146697788]
時間的アクション検出(TAD)は、トリミングされていないビデオにおいて、すべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。
そこで我々は,textitTadTR と呼ばれる Transformer によるTAD のエンドツーエンドフレームワークを構築した。
本手法は,HACSセグメンツとTHUMOS14の最先端性能とActivityNet-1.3の競合性能を実現する。
論文 参考訳（メタデータ） (2021-06-18T17:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。