論文の概要: Mano Report

• arxiv url: http://arxiv.org/abs/2509.17336v1
• Date: Mon, 22 Sep 2025 03:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.224836
• Title: Mano Report
• Title（参考訳）: 真野レポート
• Authors: Tianyu Fu, Anyang Su, Chenxu Zhao, Hanning Wang, Minghui Wu, Zhe Yu, Fei Hu, Mingjia Shi, Wei Dong, Jiayao Wang, Yuyang Chen, Ruiyang Yu, Siran Peng, Menglin Li, Nan Huang, Haitian Wei, Jiawei Yu, Yi Xin, Xilin Zhao, Kai Gu, Ping Jiang, Sifan Zhou, Shuo Wang,
• Abstract要約: Manoは、大規模なWebおよびコンピュータシステムデータに基づいて事前訓練されたマルチモーダル基盤モデル上に構築された堅牢なGUIエージェントである。 Mano氏は、Mind2WebやOSWorldなど、複数のGUIベンチマークで最先端のパフォーマンスをデモしている。
• 参考スコア（独自算出の注目度）: 29.551514304095296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical user interfaces (GUIs) are the primary medium for human-computer interaction, yet automating GUI interactions remains challenging due to the complexity of visual elements, dynamic environments, and the need for multi-step reasoning. Existing methods based on vision-language models (VLMs) often suffer from limited resolution, domain mismatch, and insufficient sequential decisionmaking capability. To address these issues, we propose Mano, a robust GUI agent built upon a multi-modal foundation model pre-trained on extensive web and computer system data. Our approach integrates a novel simulated environment for high-fidelity data generation, a three-stage training pipeline (supervised fine-tuning, offline reinforcement learning, and online reinforcement learning), and a verification module for error recovery. Mano demonstrates state-of-the-art performance on multiple GUI benchmarks, including Mind2Web and OSWorld, achieving significant improvements in success rate and operational accuracy. Our work provides new insights into the effective integration of reinforcement learning with VLMs for practical GUI agent deployment, highlighting the importance of domain-specific data, iterative training, and holistic reward design.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)は人-コンピュータインタラクションの主要な媒体であるが、視覚要素の複雑さ、動的環境、多段階推論の必要性などによりGUIインタラクションの自動化は依然として困難である。 既存の視覚言語モデル(VLM)に基づく手法では、解像度の制限、ドメインミスマッチ、シーケンシャルな意思決定能力の不足に悩まされることが多い。 これらの問題に対処するために,Web およびコンピュータシステムデータに基づいて事前学習した多モード基盤モデル上に構築された堅牢な GUI エージェントである Mano を提案する。 提案手法は,高忠実度データ生成のための新しいシミュレーション環境,3段階トレーニングパイプライン(教師付き微調整,オフライン強化学習,オンライン強化学習),エラー回復のための検証モジュールを統合する。 Mano氏は、Mind2WebやOSWorldを含む複数のGUIベンチマークで最先端のパフォーマンスを示し、成功率と運用精度を大幅に改善した。 本研究は, VLMと強化学習の効果的な統合に関する新たな知見を提供し, 実践的なGUIエージェントの展開, ドメイン固有データの重要性, 反復的トレーニング, 全体的報酬設計を浮き彫りにしている。

関連論文リスト

• Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
  実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。 そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。 我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T04:12:36Z)
• AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
  AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。 私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。 AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-02T07:30:29Z)
• A Survey on GUI Agents with Foundation Models Enhanced by Reinforcement Learning [13.091740188171915]
  まず、GUIエージェントタスクをマルコフ決定プロセスとして定式化し、典型的な実行環境と評価指標について議論する。 次に、(M)LLMベースのGUIエージェントのモジュールアーキテクチャをレビューし、パーセプション、プランニング、アクティベーションモジュールをカバーし、それらの進化を代表的作業を通して追跡する。 本稿では, 複合現実環境におけるGUIエージェントの一般化とロバスト性について, マルチモーダル認識, 決定推論, 適応行動生成における最近の革新が, どのようにして大幅に向上したかを述べる。
  論文  参考訳（メタデータ） (2025-04-29T06:55:15Z)
• Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining [67.87810796668981]
  インフォメーション・インフォメーション・インフォメーション・クロッピング(ISC)と自己精製デュアルラーニング(SRDL) Irisは850KのGUIアノテーションだけで、複数のベンチマークで最先端のパフォーマンスを実現している。 これらの改善は、WebとOSエージェントの両方の下流タスクで大幅に向上した。
  論文  参考訳（メタデータ） (2024-12-13T18:40:10Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• EDGE: Enhanced Grounded GUI Understanding with Enriched Multi-Granularity Synthetic Data [15.801018643716437]
  本稿では,大規模視覚言語モデル(LVLM)のGUI理解と対話能力を,データ駆動型アプローチにより向上することを目的とする。 本稿では,Web上のWebページから大規模で粒度の高いトレーニングデータを自動的に生成する汎用データ合成フレームワークEDGEを提案する。 提案手法は,手動アノテーションへの依存を著しく低減し,研究者がWeb上で利用可能な膨大な公開リソースを活用して作業を進めることを可能にする。
  論文  参考訳（メタデータ） (2024-10-25T10:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。