論文の概要: Scaling Verifiable Environments for Long-horizon Work Agents
- arxiv url: http://arxiv.org/abs/2610.04906v1
- Date: Sun, 04 Oct 2026 03:36:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.42064
- Title: Scaling Verifiable Environments for Long-horizon Work Agents
- Title(参考訳): 長期作業エージェントのスケーリング検証環境
- Abstract要約: 検証可能なワークエージェント環境を構築するためのスケーラブルな合成フレームワークであるWorkForgeを紹介する。
WorkForgeはまず、各ワークフローに必要なリソース、決定、成果物を特定する。
その後、関連する現実世界のファイルを取得し、それらをワークスペースに整理する。
WorkForgeはワークスペースを調べて、そのコンテンツに関する具体的な、チェック可能な事実を抽出する。
- 参考スコア(独自算出の注目度): 56.79816389667267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Work agents operate over digital artifacts to execute professional knowledge-intensive work, requiring training environments that support long-horizon interaction and trustworthy verification. However, hand-crafted environments incur prohibitive engineering overhead that prevents environment scaling, whereas synthesis methods sacrifice workspace complexity, realism, or grounded verifiability. To bridge this gap, we introduce WorkForge, a scalable synthesis framework for constructing verifiable work-agent environments from real-world resources. Starting from expert workflows, WorkForge first identifies the resources, decisions, and deliverables required by each workflow. It then retrieves relevant real-world files and organizes them into a workspace. WorkForge inspects the workspace to extract concrete, checkable facts about its content. These factual anchors fix which task types the workspace can support and how their outcomes can be verified. Therefore, WorkForge derives each task's instructions, solution plan, and complementary programmatic and semantic verifiers directly from these factual anchors, keeping verification traceable to observable workspace evidence. Furthermore, we construct 16.7K verifiable environments across 40 professional domains, with workspaces collectively covering 60 file types. Post-training Qwen3.5-35B-A3B-Base improves GDPVal from 45.5 to 73.6 and APEX Score from 5.0 to 21.3, while enabling Qwen3.5-27B to achieve highly competitive performance and outperform strong competitors. Our analyses confirm the efficacy of the proposed method and reveal consistent scaling behaviors across both data volume and interaction horizons.
- Abstract(参考訳): ワークエージェントは、デジタルアーティファクトを介して専門的な知識集約的な作業を実行し、長期にわたるインタラクションと信頼できる検証をサポートするトレーニング環境を必要とします。
しかし、手作りの環境では、環境のスケーリングを妨げるようなエンジニアリングのオーバーヘッドが禁じられているのに対し、合成手法は作業空間の複雑さ、リアリズム、あるいは接地された妥当性を犠牲にしている。
このギャップを埋めるために、現実のリソースから検証可能なワークエージェント環境を構築するためのスケーラブルな合成フレームワークWorkForgeを紹介します。
エキスパートワークフローから始めると、WorkForgeはまず、各ワークフローに必要なリソース、決定、成果物を特定する。
その後、関連する現実世界のファイルを取得し、それらをワークスペースに整理する。
WorkForgeはワークスペースを調べて、そのコンテンツに関する具体的な、チェック可能な事実を抽出する。
これらの事実的アンカーは、ワークスペースがサポートするタスクタイプと結果の検証方法を修正します。
そのため、WorkForgeは、各タスクの指示、解決計画、補完的なプログラム的および意味的検証をこれらの事実的アンカーから直接導き出し、観察可能なワークスペースの証拠に追跡可能な検証を保持する。
さらに、40の専門ドメインにまたがって16.7Kの検証環境を構築し、60のファイルタイプをまとめてワークスペースを構築した。
トレーニング後のQwen3.5-35B-A3B-BaseはGDPValを45.5から73.6に改善し、APEXスコアを5.0から21.3に改善した。
提案手法の有効性を確認し,データ量と相互作用の両面にわたる一貫したスケーリング挙動を明らかにする。
関連論文リスト
- WorkGenesis: Building the Worlds That Teach Agents to Work [49.074190775312246]
実世界のアーティファクトから実行可能な作業を構築するフレームワークであるWorkGenesisを紹介する。
Fx-Work-35Bは、単純な教師付き微調整(SFT)で訓練されたわずか20Kの作業で、全ての同等スケールのベースラインの中で最高点を達成している。
論文 参考訳(メタデータ) (2026-09-30T09:00:34Z) - OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。
各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
論文 参考訳(メタデータ) (2026-06-28T17:59:17Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳(メタデータ) (2026-06-14T05:40:16Z) - Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies [29.138677906501865]
大規模なファイル依存を伴うワークスペース学習におけるAIエージェントの評価のためのベンチマークであるWorkspace-Benchを紹介する。
5つのワーカープロファイル、74のファイルタイプ、20,476のファイル(最大20GB)を持つ現実的なワークスペースを構築し、それぞれが7,399の合計ルーリックに対して評価された独自のファイル依存グラフを持つ388のタスクをキュレートする。
論文 参考訳(メタデータ) (2026-05-05T10:17:06Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳(メタデータ) (2026-04-30T17:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。