Fugu-MT 論文翻訳(概要): Xiaomi-GUI-0 Technical Report

論文の概要: Xiaomi-GUI-0 Technical Report

arxiv url: http://arxiv.org/abs/2606.31410v2
Date: Wed, 01 Jul 2026 03:59:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-02 17:29:49.645302
Title: Xiaomi-GUI-0 Technical Report
Title（参考訳）: Xiaomi-GUI-0テクニカルレポート
Abstract要約: Xiaomi-GUI-0は、実際のモバイル環境向けのネイティブなマルチモーダルGUIエージェントである。教師付き微調整、ステップレベルの強化学習、エージェントによる強化学習という3段階のパイプラインを通じて訓練される。 RealMobileで72.0%、AndroidWorldで78.9%を達成し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。
参考スコア（独自算出の注目度）: 39.05385476532886
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.
Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは視覚言語モデル上に構築され、タップ、スワイプ、テキスト入力、ナビゲーションなどのインターフェイスアクションを通じて、実際のアプリケーションのエンド・ツー・エンドのユーザータスクを完了させる。しかし、既存のGUIエージェントは、主にオフラインのトラジェクトリ、シミュレーション環境、標準化されたベンチマークに基づいて訓練され、評価されている。これらは、インターフェースレイアウト、インタラクションロジック、異常状態分布の実際のアプリケーションとは大きく異なり、アカウント状態、許可ダイアログ、支払い認証、リスクコントロールが状態分布を継続的に作り直し、ベンチマークスコアと実際のユーザビリティの間に永続的なギャップを開いているような、現実的な使用における実行安定性を忠実に特徴づけることはできない。このギャップを埋めるため,実機用マルチモーダルGUIエージェントであるXiaomi-GUI-0を提案する。物理デバイスが主要な実行環境であり、サンドボックスが補助的なサポートを提供し、データ収集、トレーニング、ロールアウト、評価が実際のデプロイメントに近い実行分布を共有する。我々は、高周波ヘッドタスク、ロングテールインテントのための高一般化データ、リフレクションとメモリのための能力向上データにまたがるマルチソーストレーニングデータを構築し、エラー駆動型データフライホイールを導入し、障害トラジェクトリを修正動作、リフレクティブ説明、リカバリデモを行う。このモデルは、監督された微調整、段階的な強化学習、エージェントによる強化学習という、進歩的な3段階のパイプラインを通じて訓練される。公開ベンチマークと社内のRealMobileで評価したXiaomi-GUI-0は、RealMobileで72.0%、AndroidWorldで78.9%成功し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。

論文の概要: Xiaomi-GUI-0 Technical Report

関連論文リスト