論文の概要: GUIFlow: Temporal Redundancy-Aware Incremental Inference for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.34959v1
• Date: Mon, 26 Oct 2026 07:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.784983
• Title: GUIFlow: Temporal Redundancy-Aware Incremental Inference for GUI Agents
• Title（参考訳）: GUIFlow:GUIエージェントの時間的冗長性を考慮したインクリメンタル推論
• Abstract要約: GUIFlowは、マルチイメージGUIインタラクションにおける完全なパイプラインインクリメンタル推論のためのフレームワークである。 代わりに、各相互作用ステップは、軌跡を越えて保持された計算状態を選択的に更新することができる。 実験では、オフラインのマルチイメージベンチマークで3.39倍の幾何平均スピードアップ、OSWorld上でのオンラインのクローズドループインタラクションで3.49倍の速度アップが示される。
• 参考スコア（独自算出の注目度）: 46.17457854736198
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: GUI agents built on vision-language models interact with continuously evolving interfaces, yet conventional inference repeatedly recomputes representations of largely overlapping observations and histories. This mismatch makes multi-step interaction costly, while changes in context, interface content, and action arguments prevent straightforward cache reuse. We introduce GUIFlow, a framework for full-pipeline incremental inference in multi-image GUI interaction. Our central insight is that advancing a decision need not require rebuilding all supporting representations: each interaction step can instead selectively update computational states maintained across the trajectory. To support new decisions as the context evolves, GUIFlow adapts how past computation is reused: historical KV states are position-aligned and injected into the current context; change signals guide selective updates of current-observation states in the vision encoder and language model; and earlier action responses serve as speculative drafts verified by the target model. Together, these mechanisms enable cross-step reuse throughout visual encoding, prefill, and decoding without additional training, a separate draft model, or changes to the model-visible inputs and action interface. Experiments demonstrate up to 3.39x geometric-mean speedup across offline multi-image benchmarks and up to 3.49x in online, closed-loop interaction on OSWorld, while maintaining task performance broadly comparable to the dense baseline.
• Abstract（参考訳）: 視覚言語モデル上に構築されたGUIエージェントは、連続的に進化するインタフェースと相互作用するが、従来の推論では、主に重複する観察と履歴の表現を繰り返す。 このミスマッチは、コンテキスト、インターフェース内容、アクション引数の変更により、単純なキャッシュ再利用が妨げられながら、複数ステップのインタラクションをコストがかかる。 マルチイメージGUIインタラクションにおける全パイプラインインクリメンタル推論のためのフレームワークであるGUIFlowを紹介する。 我々の中心的な洞察は、決定を進めるには全ての支持表現を再構築する必要はなく、代わりに各相互作用ステップは、軌道全体にわたって維持されている計算状態を選択的に更新することができるということである。 過去のKV状態は位置整列され、現在のコンテキストに注入される 変更信号は、ビジョンエンコーダと言語モデルにおける現在の観測状態の選択的更新をガイドする 以前のアクション応答は、ターゲットモデルによって検証された投機的ドラフトとして機能する。 これらのメカニズムによって、視覚的エンコーディング、プリフィル、デコードを通じて、追加のトレーニング、独立したドラフトモデル、あるいはモデル可視な入力とアクションインターフェースの変更なしに、横断的な再利用が可能になる。 実験では、オフラインのマルチイメージベンチマークで最大3.39倍の幾何平均スピードアップ、オンラインのOSWorldでのクローズドループインタラクションで最大3.49倍の速度アップが示され、一方でタスク性能は高密度ベースラインに大きく匹敵する。

関連論文リスト

• Solaris: Towards Interfaces That Are Generated, Not Coded [61.80943145058668]
  ユーザアクションに応答して,インタラクティブなUIを直接フレーム単位で生成するインターフェースワールドモデルであるSolarisを紹介する。 Solarisはマウスの相互作用を条件付け信号として扱い、対話的な速度で結果の視覚状態を自己回帰的に合成する。 言語モデルは、ユーザ意図を解釈し、インタラクションがどのように生成された環境に影響を与えるかを指定することで、視覚世界モデルを補完する。
  論文  参考訳（メタデータ） (2026-09-01T06:10:49Z)
• GUI-CC: Benchmarking Contextual Consistency of GUI World Models as Agent Environments [20.28422479068168]
  エージェント環境としてGUIワールドモデルのコンテキスト整合性を評価するベンチマークGUI-CCを紹介する。 我々はGUIOdysseyから500のオフライントラジェクトリタスクを構築し、30のモバイルアプリで200のエミュレータ認証オンラインタスクを構築した。 実験により、信頼性の高い環境シミュレーションは保証されないことが示された。
  論文  参考訳（メタデータ） (2026-08-30T05:19:43Z)
• A Task-State Representation for Long-Horizon Mobile GUI Agents [53.359524744953575]
  Task-State Representation (TSR)は、感覚入力からタスク状態を明示的に分離する、トレーニング不要のフレームワークである。 4つのモバイルGUIベンチマークによる実験では、TSRの有効性が検証され、成功率が12ポイントまで向上した。
  論文  参考訳（メタデータ） (2026-07-01T06:37:21Z)
• GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
  GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。 GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。 そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
  論文  参考訳（メタデータ） (2026-02-09T18:52:02Z)
• MGA: Memory-Driven GUI Agent for Observation-Centric Interaction [30.45490249299358]
  メモリ駆動型GUIエージェント(MGA)を導入し、まず観察の原理に基づいてGUIインタラクションをリフレームし、次に決定する。 MGAは最先端のベースラインに比べてロバスト性、一般化、効率性が著しく向上する。
  論文  参考訳（メタデータ） (2025-10-28T08:19:58Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。