論文の概要: ProCUA-SFT Technical Report

• arxiv url: http://arxiv.org/abs/2606.17321v1
• Date: Mon, 15 Jun 2026 22:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.155117
• Title: ProCUA-SFT Technical Report
• Title（参考訳）: ProCUA-SFT技術報告
• Authors: Jaehun Jung, Ximing Lu, Brandon Cui, Muhammad Khalifa, Shaokun Zhang, Hao Zhang, Jin Xu, Amala Sanjay Deshmukh, Karan Sapra, Andrew Tao, Yejin Choi, Jan Kautz, Mingjie Liu, Yi Dong,
• Abstract要約: コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。 93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。 ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
• 参考スコア（独自算出の注目度）: 80.97543110323542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training computer-use agents (CUAs) -- models that interact with graphical desktops through screenshots and keyboard/mouse actions -- requires large-scale, diverse trajectory data collected in full desktop environments. The largest public resource, AgentNet (22.5K human trajectories), leads to negative transfer when used for supervised fine-tuning (SFT): continuing training UI-TARS 7B on AgentNet causes OSWorld success rate to fall from 26.3% to 8-10%. We present ProCUA-SFT, a dataset of 3.1M step-level SFT samples distilled from 93K synthetic trajectories across 2,484 application combinations. The dataset is produced by a fully automated pipeline that (i) synthesizes grounded tasks on live desktops seeded with real-world content -- 912 spreadsheets from SpreadsheetBench, approximately 10K permissively-licensed presentations from Zenodo10K, and multi-application OSWorld configs -- and (ii) verifies each task's feasibility through binary precondition checking before rollout. A single VLM (Kimi-K2.5) serves as goal generator, precondition judge, and trajectory executor, eliminating planner-actor capability gaps. Each trajectory is expanded into step-prefix samples that exactly reproduce the context layout seen at inference time. Fine-tuning UI-TARS 7B on ProCUA-SFT for one epoch yields 45.0% on OSWorld -- an 18.7 percentage-point improvement over the base model and over 35% above AgentNet-trained counterparts. A subset of ProCUA was incorporated into the training data for the Nemotron 3 Nano Omni model, contributing to its computer-use capabilities.
• Abstract（参考訳）: コンピュータ使用エージェント(CUA)のトレーニング -- スクリーンショットとキーボード/マウスアクションを通じてグラフィカルデスクトップと対話するモデル -- は、大規模な多様なトラジェクトリデータをフルデスクトップ環境で収集する必要がある。 エージェントネット上でのUI-TARS 7BのトレーニングはOSWorldの成功率を26.3%から8-10%に低下させる。 2,484種類の合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。 データセットは、完全に自動化されたパイプラインによって生成される (i)現実世界のコンテンツでシードされたライブデスクトップ上の接地タスク - SpreadsheetBenchから912のスプレッドシート、Zenodo10Kから約10Kのパーミッションライセンス付きプレゼンテーション、マルチアプリケーションOSWorld設定 -- を合成する。 (ii)ロールアウト前のバイナリ条件チェックを通じて各タスクの実現可能性を検証する。 単一のVLM(Kimi-K2.5)は、目標生成器、事前条件判断器、軌道実行器として機能し、プランナーとアクターの能力ギャップをなくす。 各トラジェクトリはステッププレフィックスのサンプルに拡張され、推論時に見られるコンテキストレイアウトを正確に再現する。 ProCUA-SFT上での微調整UI-TARS 7Bは、OSWorldで45.0%となる。 ProCUAのサブセットはNemotron 3 Nano Omniモデルのトレーニングデータに組み込まれ、コンピュータ使用能力に寄与した。

関連論文リスト

• Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents [42.7127695634038]
  私たちのデータセットは 9つのプログラミング言語にまたがる 207,489のエージェント・トラジェクトリのデータセットです このデータは、長距離推論が可能なモデルのトレーニングを容易にする。 最高の性能モデルは、SWEベンチ検証で61.7%、SWEベンチ多言語で57.1%、SWEベンチProで36.8%である。
  論文  参考訳（メタデータ） (2026-06-14T22:10:06Z)
• ISE: An Execution-Grounded Recipe for Multi-Turn OS-Agent Trajectories [18.739245125968175]
  有能なOSエージェントのトレーニングには、構造化されたユーザインテント、マルチターンタスクデリゲート、既存のデータセットにないグラウンド化されたツール実行-プロパティを同時にキャプチャするデータが必要である。 ISE(Intent -> Simulate -> Execute)は,これらのギャップに共同で対処する3段階合成パラダイムである。
  論文  参考訳（メタデータ） (2026-06-09T23:44:26Z)
• Terminal-World: Scaling Terminal-Agent Environments via Agent Skills [52.39713754337834]
  エージェントスキルを中心的な合成プリミティブとして利用する完全自動化パイプラインである Terminal-World を紹介する。 我々は,5,723のトレーニング環境を構築し,端末-ワールド-8B/14B/32Bを6つのベンチマークで評価した。 Terminal-World-32B は Terminal-Bench 2.0 で Nemotron-Terminal-32B を +4.5 Pass@1 (31.5) で上回り、43.8 Pass@3 に達する。
  論文  参考訳（メタデータ） (2026-05-20T08:14:51Z)
• On Data Engineering for Scaling LLM Terminal Capabilities [62.14352406328365]
  最先端の端末エージェントの背後にあるトレーニングデータ戦略はほとんど公表されていない。 端末エージェントのデータエンジニアリングプラクティスの体系的研究を通じて,このギャップに対処する。 当社のパイプラインは,端末タスク用の大規模オープンソースデータセットである Terminal-Corpus を生成する。
  論文  参考訳（メタデータ） (2026-02-24T18:51:04Z)
• UI-Venus-1.5 Technical Report [64.4832043785725]
  We present UI-Venus-1.5, an unified, end-to-end GUI Agent。 提案したモデルファミリーは、2つの高密度変種(2Bと8B)と1つの混合専門家変種(30B-A3B)からなる。 さらに、UI-Venus-1.5は、さまざまな中国のモバイルアプリで堅牢なナビゲーション機能を示している。
  論文  参考訳（メタデータ） (2026-02-09T18:43:40Z)
• UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
  グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。 本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。 実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-09-02T17:44:45Z)
• Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs [19.766885088032932]
  ソフトウェアエンジニアリング(SWE)は、次世代のLLMエージェントにとって重要なテストベッドとして登場した。 既存のデータセットのほとんどは、わずか数千のGitHubソースインスタンスに制限されている。 SWEデータセットのボリュームと多様性の両方を体系的にスケールするインクリメンタルな自動データキュレーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-24T03:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。