論文の概要: Scaling, Benchmarking, and Reasoning of Vision-Language Agents for Mobile GUI Navigation
- arxiv url: http://arxiv.org/abs/2605.27134v1
- Date: Tue, 26 May 2026 15:03:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.29202
- Title: Scaling, Benchmarking, and Reasoning of Vision-Language Agents for Mobile GUI Navigation
- Title（参考訳）: モバイルGUIナビゲーションのための視覚言語エージェントのスケーリング, ベンチマーク, 推論
- Authors: Heng Qu, Yike Liu, Renren Jin, Wenzong Zhang, Pengzhi Gao, Wei Liu, Jian Luan,
- Abstract要約: VLM(Vision-Language Models)は、モバイルGUIナビゲーションの急速な進歩を示す。
本稿では,この領域におけるVLMエージェントのデータスケーリング,ベンチマーク,推論の体系的研究について述べる。
HyperTrackは、中国の650以上のモバイルアプリケーションにまたがる16000以上の現実世界のタスクを備えた大規模なデータセットです。
- 参考スコア（独自算出の注目度）: 19.991458583143437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) have shown rapid progress in mobile GUI navigation. This paper presents a systematic study of data scaling, benchmarking, and reasoning for VLM-based agents in this domain. To facilitate rigorous evaluation, we introduce HyperTrack, a large-scale dataset with over 16000 real-world tasks across more than 650 Chinese mobile applications, along with GUIEvalKit, an open-source toolkit for unified benchmarking of VLMs on offline GUI navigation tasks. Using HyperTrack, we analyze the effects of training data scale on both supervised and reinforcement-based finetuning. Our results show that reinforcement-based finetuning consistently outperforms supervised finetuning, particularly in out-of-domain settings, highlighting the synergy between data scaling and reinforcement learning. Leveraging GUIEvalKit, we further benchmark state-of-the-art (SOTA) VLMs and analyze how interaction history and reasoning capabilities influence task completion. Together, HyperTrack and GUIEvalKit provide a comprehensive platform for developing and evaluating VLM agents in mobile GUI navigation tasks.
- Abstract（参考訳）: VLM(Vision-Language Models)は、モバイルGUIナビゲーションの急速な進歩を示す。
本稿では,この領域におけるVLMエージェントのデータスケーリング,ベンチマーク,推論の体系的研究について述べる。
厳密な評価を容易にするために,中国650以上のモバイルアプリケーションを対象とした16000以上の実世界のタスクを備えた大規模データセットであるHyperTrackと,オフラインGUIナビゲーションタスク上でVLMの統一ベンチマークを行うオープンソースツールキットであるGUIEvalKitを紹介した。
HyperTrackを用いて、教師付きおよび強化型ファインタニングにおけるトレーニングデータスケールの効果を分析する。
以上の結果から,データスケーリングと強化学習の相乗効果を浮き彫りにして,特にドメイン外設定において,強化ベースファインタニングが教師付きファインタニングよりも優れていたことが示唆された。
GUIEvalKitを活用することで、最先端(SOTA)のVLMをベンチマークし、インタラクション履歴と推論機能がタスク完了にどのように影響するかを分析する。
HyperTrackとGUIEvalKitは、モバイルGUIナビゲーションタスクにおけるVLMエージェントの開発と評価のための総合的なプラットフォームを提供する。
関連論文リスト
- GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳（メタデータ） (2025-11-06T12:19:02Z) - Mano Technical Report [29.551514304095296]
Manoは、大規模なWebおよびコンピュータシステムデータに基づいて事前訓練されたマルチモーダル基盤モデル上に構築された堅牢なGUIエージェントである。
Mano氏は、Mind2WebやOSWorldなど、複数のGUIベンチマークで最先端のパフォーマンスをデモしている。
論文 参考訳（メタデータ） (2025-09-22T03:13:58Z) - R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding [18.100091500983044]
GUI自動化における重要な課題は、様々なプラットフォームにまたがるインターフェイス要素の正確な基盤を作ることである。
既存の視覚のみのGUIエージェントは、大きく散らかったスクリーンショットから直接要素を接地する。
R-VLMは、ズームインされた領域の提案を正確な要素ローカライゼーションに活用する新しいGUI基盤手法である。
論文 参考訳（メタデータ） (2025-07-08T04:56:57Z) - ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。
実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2025-05-21T08:36:18Z) - Guiding VLM Agents with Process Rewards at Inference Time for GUI Navigation [101.09478572153239]
本稿では,GUIナビゲーションにおける報酬モデルと推論時の制御により,VLMエージェントをプロセス監視で誘導する手法を提案する。
このガイダンスにより、VLMエージェントは各推論ステップでのアクションを最適化し、静的環境と動的環境の両方のパフォーマンスを改善することができる。
論文 参考訳（メタデータ） (2025-04-22T17:52:42Z) - Breaking the Data Barrier -- Building GUI Agents Through Task Generalization [25.129269032612832]
本研究では,データ豊かで推論集約的なタスクにおける視覚言語モデル(VLM)のトレーニングを提案する。
本稿では,GUI認識,マルチモーダル推論,テキスト推論など,手軽に利用できるインストラクションチューニングデータを用いて,さまざまなタスクを探索する。
われわれの研究はGUIエージェントのドメイン間知識伝達に関する貴重な知見を提供し、データの不足に対処するための実践的なアプローチを提供する。
論文 参考訳（メタデータ） (2025-04-14T11:35:02Z) - AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。
本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。
完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
論文 参考訳（メタデータ） (2024-12-12T18:59:27Z) - Mobile-Env: Building Qualified Evaluation Benchmarks for LLM-GUI Interaction [28.53259866617677]
Android モバイル環境で GUI ベンチマークを作成するための総合ツールキットである Mobile-Env を紹介した。
我々は、さまざまな現実世界のアプリにまたがるオープンワールドのタスクと、固定されたワールドセットWikiHowを収集し、大量の動的オンラインコンテンツをキャプチャする。
我々の研究結果によると、高度なモデルでさえ、人間にとって比較的簡単なタスクに苦しむことがわかった。
論文 参考訳（メタデータ） (2023-05-14T12:31:03Z) - DG-Labeler and DGL-MOTS Dataset: Boost the Autonomous Driving Perception [15.988493804970092]
我々は,DG-LabelerとDGL-MOTSデータセットを導入し,MOTSタスクのトレーニングデータアノテーションを容易にする。
大規模なクロスデータセット評価の結果は、我々のデータセットでトレーニングされたいくつかの最先端手法に対して、大幅な性能向上を示している。
論文 参考訳（メタデータ） (2021-10-15T01:04:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。