論文の概要: OS-Wizard: Scaling Computer-Using Agents to Specialized Software via Knowledge-Guided Exploration

• arxiv url: http://arxiv.org/abs/2610.33907v1
• Date: Sat, 24 Oct 2026 20:39:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.481091
• Title: OS-Wizard: Scaling Computer-Using Agents to Specialized Software via Knowledge-Guided Exploration
• Title（参考訳）: OS-Wizard:知識誘導探索によるコンピュータ利用エージェントの高度化
• Abstract要約: OS-Wizardは自動軌跡収集フレームワークである。 チュートリアルガイドによる探索とGUI-Codeのハイブリッドなアクションスペースを組み合わせたものだ。 このコーパス上の微調整されたオープンソースベースモデルは、最高のパフォーマンスモデルをもたらす。
• 参考スコア（独自算出の注目度）: 45.638899711625875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer-using agents are increasingly capable of performing complex tasks in the digital world. However, high-quality interaction trajectories remain scarce for specialized desktop applications, where limited application knowledge, cumbersome GUI workflows, and incomplete exploration hinder automated collection. We introduce OS-Wizard, an automated trajectory collection framework. It combines tutorial-guided exploration with a hybrid GUI--Code action space, providing application-specific knowledge and simplifying GUI workflows through direct execution of application-native commands. The framework also checkpoints and revisits pivotal states during tree exploration to explore alternative workflows, complementing linear rollouts for broader coverage. We collect 10.9K trajectories comprising 54.9K state--action samples. Fine-tuning open-source base models on this corpus yields a best-performing model that improves performance on a benchmark of specialized desktop workflows by 58.2 percentage points to 64.1\%, surpassing reported human performance of 59.8\% and establishing a new state of the art. The fine-tuned model also improves performance on general desktop workflows using GUI actions only, suggesting that the collected supervision benefits general desktop tasks as well. Comparative experiments and ablations demonstrate the efficiency of trajectory collection and the importance of code actions.
• Abstract（参考訳）: コンピュータ利用エージェントは、デジタル世界で複雑なタスクを実行する能力がますます高まっている。 しかし、アプリケーション知識の制限、GUIワークフローの煩雑さ、不完全な探索が自動収集を妨げている特殊なデスクトップアプリケーションでは、高品質なインタラクショントラジェクトリは依然として不足している。 自動軌跡収集フレームワークであるOS-Wizardを紹介する。 チュートリアルガイドによる探索とハイブリッドGUI-Codeアクションスペースを組み合わせることで、アプリケーション固有の知識を提供し、アプリケーションネイティブコマンドを直接実行することでGUIワークフローを簡素化する。 フレームワークはまた、ツリー探索中に重要な状態をチェックポイントし、修正して、より広範なカバレッジのために線形ロールアウトを補完する代替ワークフローを探索する。 54.9K状態反応試料からなる10.9K軌道を収集する。 このコーパス上の微調整のオープンソースベースモデルは、特定のデスクトップワークフローのベンチマークのパフォーマンスを58.2ポイントから64.1倍に改善し、報告された人のパフォーマンスを59.8倍に上回り、新しい最先端技術を確立する最高のパフォーマンスモデルをもたらす。 微調整されたモデルは、GUIアクションのみを使用して、一般的なデスクトップワークフローのパフォーマンスも改善する。 比較実験とアブレーションは、軌道収集の効率とコードアクションの重要性を示している。

関連論文リスト

• RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
  真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
  論文  参考訳（メタデータ） (2026-09-18T17:00:56Z)
• OSExpert: Computer-Use Agents Learning Professional Skills via Exploration [55.660669638732024]
  汎用コンピュータ利用エージェントは、人間の専門家ほど役に立たない。 本研究では,環境の単位関数を探索し,検証するための深度優先探索アルゴリズムを提案する。 エージェントは、合成タスクのカリキュラムを自己構築するために、ユニットスキル間の構成性を利用する。
  論文  参考訳（メタデータ） (2026-03-09T05:27:56Z)
• AUTO-Explorer: Automated Data Collection for GUI Agent [58.58097564914626]
  本稿では,アノテーションコストを最小限に抑えた自動データ収集手法であるAuto-Explorerを提案する。 それは、GUI環境を自律的に解析し探索する、シンプルだが効果的な探索メカニズムを組み込んでいる。 収集したデータを用いて,マルチモーダル大規模言語モデル(MLLM)を微調整し,GUI要素基盤テストセットを確立する。
  論文  参考訳（メタデータ） (2025-11-09T15:13:45Z)
• GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
  GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。 リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。 このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
  論文  参考訳（メタデータ） (2025-11-06T12:19:02Z)
• UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction [16.731754927372585]
  UI-Visionは、コンピュータ使用エージェントのオフラインかつきめ細かい評価のための、最初の包括的なライセンス許容ベンチマークである。 オンラインベンチマークとは異なり、UI-Visionは人間のデモの密集した高品質なアノテーションを提供する。 評価の結果,UI-TARS-72Bのような最先端モデルの限界が明らかになった。
  論文  参考訳（メタデータ） (2025-03-19T19:26:17Z)
• ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
  本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。 本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。