論文の概要: Adaptation of Computer Use Agents to New Software with User Manuals

• arxiv url: http://arxiv.org/abs/2610.23012v1
• Date: Fri, 16 Oct 2026 06:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.79777
• Title: Adaptation of Computer Use Agents to New Software with User Manuals
• Title（参考訳）: ユーザマニュアルを用いた新しいソフトウェアへのコンピュータ利用エージェントの適応
• Abstract要約: MAGE(Manual-augmented computer use AGent Execution and Learning)は、ユーザマニュアルを手続き的知識の源として活用し、推論とトレーニングの両方を改善するフレームワークである。 6つのアプリケーションにまたがる実験結果は、強いベースラインよりもタスク成功率の向上を示している。
• 参考スコア（独自算出の注目度）: 8.372031293918434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in multimodal foundation models have significantly improved the ability to operate real-world software through graphical user interfaces (GUIs) using visual observations and natural language instructions. However, maintaining strong performance on unseen applications remains challenging, as practical tasks often require long-horizon procedural knowledge and application-specific operation patterns. In addition, constructing executable tasks and collecting corresponding trajectories for training still heavily rely on human-annotated data, incurring substantial cost. In this paper, we propose MAGE (Manual-augmented computer use AGent Execution and learning), a framework that leverages user manuals as a scalable source of procedural knowledge to improve both inference and training. During execution, MAGE retrieves task-relevant manual content and uses a planner to generate explicit procedural guidance for CUAs. To further account for the discrepancies between manuals and actual GUI environments, such as version differences or user settings, MAGE also adapts the agent policy through environment interaction. During training, MAGE converts manuals into executable task-plan pairs and uses the plans to guide environment rollouts toward task-relevant states; the resulting trajectories are then used to optimize the policy without human-authored demonstrations. This unified design enables effective utilization of manuals for both task execution and training, reducing reliance on human-authored training data. Experimental results across six applications demonstrate improvements in task success rates over strong baselines, highlighting the effectiveness of manual-guided planning and policy adaptation in new software environments. We provide the code and reproduction scripts at https://github.com/ku-autoai/MAGE.
• Abstract（参考訳）: マルチモーダル基礎モデルの最近の進歩は、視覚的観察と自然言語命令を使用してグラフィカルユーザインタフェース(GUI)を介して現実世界のソフトウェアを操作する能力を大幅に改善した。 しかし, 実用タスクでは, 長期の手続き的知識とアプリケーション固有の操作パターンを必要とする場合が多いため, 目立たないアプリケーションに対して高い性能を維持することは依然として困難である。 加えて、実行可能なタスクの構築とトレーニングのための対応するトラジェクトリの収集は、人間による注釈付きデータに大きく依存しており、かなりのコストがかかる。 本稿では、ユーザマニュアルを手続き的知識のスケーラブルな情報源として活用し、推論とトレーニングの両方を改善するためのフレームワークであるMAGE(Manual-augmented computer use AGent Execution and Learning)を提案する。 実行中、MAGEはタスク関連マニュアルコンテンツを検索し、プランナーを使用してCUAの明確な手続き的ガイダンスを生成する。 バージョンの違いやユーザ設定など、マニュアルと実際のGUI環境の相違をさらに説明するために、MAGEは環境のインタラクションを通じてエージェントポリシーを適応する。 トレーニング中、MAGEはマニュアルを実行可能なタスクプランペアに変換し、環境のロールアウトをタスク関連状態にガイドするために使用する。 この統合された設計により、タスク実行とトレーニングの両方にマニュアルを効果的に活用することができ、人間が認可したトレーニングデータへの依存を減らすことができる。 6つのアプリケーションにまたがる実験結果から,タスク成功率を高いベースラインよりも向上させ,手動誘導計画の有効性と,新しいソフトウェア環境における政策適応性を強調した。 コードと再生スクリプトはhttps://github.com/ku-autoai/MAGE.orgで公開しています。

関連論文リスト

• RoboBridge: A Self-Evolving Embodied Agent Framework for Sim-to-Real Transfer [54.448285795003294]
  インボディード・インテリジェンスを現実世界に持ち込む上での課題は、シミュレーションから現実への能力移転だ。 本稿では,Sim-to-real転送を実行可能なタスクスキルの継続的な適応として扱うフレームワークであるRoboBridgeを提案する。
  論文  参考訳（メタデータ） (2026-10-02T02:53:57Z)
• In-Context Learning for Robots: Methods and Applications [117.36413283771294]
  汎用ロボットは、新しいタスクが何を必要としているかを推測し、その理解を適切な物理的行動に変換する必要がある。 ロボットのためのインコンテキスト学習(ICL)はこのプロセスをサポートし、デモとインタラクションを使用して、デプロイ中に固定されたニューラルネットワークパラメータと既存のコンピテンスを指示する。
  論文  参考訳（メタデータ） (2026-09-28T18:00:34Z)
• DocOS: Towards Proactive Document-Guided Actions in GUI Agents [54.27655693145045]
  textbfDocOSは、完全にインタラクティブな環境で文書誘導問題解決を評価するために設計されたベンチマークである。 実験の結果、エージェントはプロアクティブ検索中に関連情報を確実に見つけるのに苦労し、検索した指示を忠実に正確な行動に移すのに失敗することが判明した。
  論文  参考訳（メタデータ） (2026-05-18T08:36:04Z)
• Watch and Learn: Learning to Use Computers from Online Videos [50.10702690339142]
  Watch & Learn(W&L)は、インターネット上で簡単に利用できる人間のデモビデオを、大規模に実行可能なUIトラジェクトリに変換するフレームワークである。 我々は,タスク対応ビデオ検索を用いた逆動的ラベリングパイプラインを開発し,生のウェブビデオから53k以上の高品質なトラジェクトリを生成する。 これらの結果から,実世界展開に向けたCUAの実践的かつスケーラブルな基盤として,Webスケールの人間デモビデオが注目されている。
  論文  参考訳（メタデータ） (2025-10-06T10:29:00Z)
• Dynamic Skill Adaptation for Large Language Models [78.31322532135272]
  動的スキル適応(Dynamic Skill Adaptation, DSA)は, 言語モデル(LLM)に新しい複雑なスキルを適応させる適応的かつ動的フレームワークである。 各スキルに対して,学習前スキルの詳細な記述を含む教科書的データと,学習前スキルの具体的活用を目標とした演習的データの両方を生成する。 LLAMA や Mistral のような大規模言語モデルを用いた実験は,提案手法が数学推論スキルや社会学習スキルに適応する上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-26T22:04:23Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
  本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。 タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。 超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T08:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。