論文の概要: EnvCraft: Synthesizing Executable Environments in Agentic RL for Claw-like Agent

• arxiv url: http://arxiv.org/abs/2609.05576v1
• Date: Fri, 04 Sep 2026 10:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.096436
• Title: EnvCraft: Synthesizing Executable Environments in Agentic RL for Claw-like Agent
• Title（参考訳）: EnvCraft: Claw-like AgentのためのエージェントRLにおける実行可能な環境の合成
• Abstract要約: EnvCraftは、実行可能な環境とスケーラブルなトレーニングデータを合成する自動化フレームワークである。 エージェントRL訓練のための約20Kの複雑なタスクからなる139の対話環境を合成する。
• 参考スコア（独自算出の注目度）: 21.572853994120806
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The paradigm of LLMs has rapidly shifted from passive language interfaces to autonomous Claw-like agents that execute long-horizon tasks across stateful workspaces. While Agentic Reinforcement Learning (Agentic RL) provides a promising path to optimize these agents, its scaling is heavily bottlenecked by the severe scarcity of interactive training environments. Existing synthetic environments are strictly limited to tool-calling endpoints, rendering them insufficient for accommodating the end-to-end real-world demands of claw-like agents. To bridge this gap, we introduce EnvCraft, an automated framework for synthesizing executable environments and scalable training data. Specifically, EnvCraft employs an environment synthesis engine to build sandbox-isolated workspaces, alongside a topology-aware data generation engine to produce coherent task trajectories. Overall, we synthesize 139 interactive environments comprising approximately 20K complex tasks for Agentic RL training. Experiments on Qwen3/3.5 models (8B-32B) show that our method yields gains of up to +11.9% on Claw-style benchmarks and +8.0% on general tool-use benchmarks, with concurrent reductions in inference token cost. The results confirm that synthesized executable environments provide robust and generalizable learning signals for training.
• Abstract（参考訳）: LLMのパラダイムは、受動的言語インターフェースから、ステートフルなワークスペースにわたって長い水平タスクを実行する自律的なClawのようなエージェントへと急速に移行している。 Agentic Reinforcement Learning (Agentic RL)はこれらのエージェントを最適化するための有望なパスを提供するが、そのスケーリングはインタラクティブなトレーニング環境の深刻な不足によって非常にボトルネックになっている。 既存の合成環境は、ツールコールエンドポイントに限られており、爪のようなエージェントのエンド・ツー・エンド・エンドの要求を満たすには不十分である。 このギャップを埋めるために、実行可能な環境とスケーラブルなトレーニングデータを合成する自動化フレームワークであるEnvCraftを紹介します。 具体的には、環境合成エンジンを使用してサンドボックスを分離したワークスペースを構築し、トポロジを意識したデータ生成エンジンを使用してコヒーレントなタスクトラジェクトリを生成する。 総合的に,エージェントRL訓練のための約20Kの複雑なタスクからなる139の対話環境を合成する。 Qwen3/3.5モデル (8B-32B) を用いた実験により,提案手法はClawスタイルのベンチマークでは+11.9%,一般的なツール利用ベンチマークでは+8.0%,推論トークンコストは同時に減少することがわかった。 その結果、合成可能環境は、トレーニングのための堅牢で一般化可能な学習信号を提供することを確認した。

関連論文リスト

• SPADE: Self-Play in Adaptive Synthetic Executable Environments [110.80471334001574]
  1つのLLMが2つの役割を演じるセルフプレイのRLフレームワークであるSPADEを紹介する。 Environment Designerは、OpenAI Gymスタイルのreset()/step()インターフェイスで実行可能なコードとして、完全な長距離トレーニング環境を記述する。 環境デザイナは,大規模な事前学習コーパスから採取した文書に基づいて構築し,蓄積した環境記憶を与える。
  論文  参考訳（メタデータ） (2026-08-19T17:58:56Z)
• EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL [54.09410318521061]
  本稿では,エージェント強化学習(Agentic RL)トレーニングのための完全に自動化されたフレームワークであるEnvFactoryを紹介する。 EnvFactoryは、認証リソースから自律的に、ステートフルで実行可能なツール環境を探索する。 トポロジーを意識したサンプリングとキャリブレーションによる自然なマルチターン軌道を合成する。 トレーニング効率とダウンストリーム性能が向上し、BFCLv3ではQwen3シリーズモデルを最大15%改善し、MPP-Atlasでは+8.6%、VitaBenchでは+6%向上した。
  論文  参考訳（メタデータ） (2026-05-18T17:37:40Z)
• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
  大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。 完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。 私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
  論文  参考訳（メタデータ） (2026-02-10T18:55:41Z)
• ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas [13.919124676472022]
  ASTRAは、ツール拡張言語モデルエージェントをトレーニングするためのエンドツーエンドフレームワークである。 ASTRAはスケーラブルなデータ合成と検証可能な強化学習を統合している。 複数のエージェントツール使用ベンチマークの実験は、ASTRA訓練されたモデルが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-01-29T11:22:23Z)
• EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis [101.67583081810136]
  大規模言語モデル(LLM)は、様々な現実世界環境においてエージェントとして機能するよう訓練されることが期待されている。 このプロセスはリッチで多様なツール・インタラクション・サンドボックスに依存している。 スケーラブルなツールインタラクション環境のための自動化フレームワークであるEnvScalerを提案する。
  論文  参考訳（メタデータ） (2026-01-09T14:32:06Z)
• Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
  本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。 ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。 ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
  論文  参考訳（メタデータ） (2025-12-31T14:03:39Z)
• AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning [71.4322853508083]
  シミュレーション環境における強化学習の実施は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。 これまでの作業は、半自動化された環境合成や、十分な困難を欠いたタスクに限られており、幅や深さがほとんどない。 本稿では,高難易度かつ容易に検証可能なタスクに関連付けられたシミュレーション環境の,自動化されたスケーラブルな合成のための統一パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-28T09:43:11Z)
• CuES: A Curiosity-driven and Environment-grounded Synthesis Framework for Agentic RL [35.086788669916594]
  大規模言語モデルベースのエージェントは、複雑なツール拡張環境にますますデプロイされている。 既存のアプローチは通常、新しい環境で失敗する前提である事前定義されたタスクコレクションを仮定する。 そこで我々はCuESを提案する。CuESはキュリオシティ駆動環境基盤合成フレームワークで、多様で実行可能で有意義なタスクを自律的に生成する。
  論文  参考訳（メタデータ） (2025-12-01T06:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。