論文の概要: GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents

• arxiv url: http://arxiv.org/abs/2610.36877v1
• Date: Tue, 27 Oct 2026 09:17:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.55251
• Title: GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents
• Title（参考訳）: GUI-JEPA: モバイルGUIエージェントの高速アクションポリシーとしての候補指定JEPA潜入者
• Abstract要約: 本稿では,JEPA(Joint-Embedding Predictive Architecture)に基づくデコーダフリーGUIエージェントポリシーを提案する。 Gui-JEPAは、未ラベルのスクリーンショットで事前トレーニングされたJEPAエンコーダの潜時空間でのアクションを選択する。 AndroidControlでは、GUI-JEPAはQwen2.5-VL-7Bエージェントよりも2.8-4.0倍高速である。
• 参考スコア（独自算出の注目度）: 52.575216347384895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mobile GUI agents are typically fine-tuned 7B-scale vision-language models (VLMs) that generate each action as text. However, these VLMs decode every action token by token, and even agents that score candidate actions keep a large language model or VLM in the loop, making them slow and memory-hungry. To address these issues, we propose GUI-JEPA, to our knowledge the first decoder-free GUI agent policy built on a Joint-Embedding Predictive Architecture (JEPA), which selects actions in the latent space of a JEPA encoder pretrained on unlabelled GUI screenshots. Its action- and region-conditioned latent predictor turns the screen latent into one latent per candidate action, letting lightweight heads score all candidates against the instruction in a single batched pass, without decoding a token. We further show that the scorer relies on this latent pathway and that the predictor is trained for the decision itself: a randomly initialised predictor does just as well as one pretrained on screen dynamics. On AndroidControl, GUI-JEPA is 2.8-4.0x faster on the same GPU than a Qwen2.5-VL-7B agent we fine-tune with the same inputs, while reaching 86-92% of its in-distribution accuracy with 6% of its parameters. Code is available at https://github.com/bcwang-sjtu/GUI-JEPA
• Abstract（参考訳）: モバイルGUIエージェントは、通常、細調整された7Bスケールの視覚言語モデル(VLM)で、各アクションをテキストとして生成する。 しかしながら、これらのVLMはトークンによってすべてのアクショントークンをデコードし、候補アクションをスコアするエージェントでさえ大きな言語モデルやVLMをループに保持し、遅くてメモリ不足になる。 このような問題に対処するため,我々はGUI-JEPAを提案し,JEPAエンコーダの潜在空間におけるアクションを選択するJEPA(Joint-Embedding Predictive Architecture)上に構築された最初のデコーダフリーGUIエージェントポリシーについて検討した。 アクションとリージョン条件の潜伏予測器は、潜在画面を候補アクション毎に1つの潜伏状態に変え、軽量ヘッドはトークンを復号することなく、1つのバッチパスで命令に対して全ての候補をスコアする。 さらに、スコアラがこの潜伏経路に依存し、予測器が決定そのもののために訓練されることが示される:ランダムに初期化された予測器は、スクリーンダイナミクスで事前訓練されたものと同様に、同様に動作する。 AndroidControlでは、GUI-JEPAは同じGPU上で、Qwen2.5-VL-7Bエージェントよりも2.8-4.0倍高速で、同じ入力で微調整する。 コードはhttps://github.com/bcwang-sjtu/GUI-JEPAで入手できる。

関連論文リスト

• STP-GUI: Spatially-Aware Token Pruning for Efficient Web-GUI Agents [19.465366408672136]
  高解像度のスクリーンショットとマルチターン履歴は過剰な視覚トークンを導入し、かなりの推測オーバーヘッドを引き起こす。 既存のトークンプルーニング法は主に自然画像用に設計されており、重要なスコアに基づいてトークンを独立に選択することが多い。 空間的コヒーレントなウィンドウレベルの選択を行いながら、きめ細かい命令条件付きトークンスコアリングを保存できるクエリ誘導トークンフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-14T15:53:48Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
  座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。 GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。 実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T17:59:08Z)
• GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents [13.415165482033395]
  環境制約に違反したり、GUIエージェントの現在の能力を超えたりするアウト・オブ・ディストリビューション(OOD)命令は、タスクの故障やセキュリティ上の脅威を引き起こす可能性がある。 従来のOOD検出手法は、複雑な埋め込み空間とGUI環境の進化により、この領域でサブ最適化される。 本稿では,その機能境界を反映したGUIエージェントから抽出した入力埋め込み距離にガウス混合モデルを適用する新しい手法であるGEMを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:29:05Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。