論文の概要: SPADE: Self-Play in Adaptive Synthetic Executable Environments

• arxiv url: http://arxiv.org/abs/2608.19197v2
• Date: Mon, 24 Aug 2026 17:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:42.911959
• Title: SPADE: Self-Play in Adaptive Synthetic Executable Environments
• Title（参考訳）: SPADE: 適応型合成実行環境におけるセルフプレイ
• Abstract要約: 1つのLLMが2つの役割を演じるセルフプレイのRLフレームワークであるSPADEを紹介する。 Environment Designerは、OpenAI Gymスタイルのreset()/step()インターフェイスで実行可能なコードとして、完全な長距離トレーニング環境を記述する。 環境デザイナは,大規模な事前学習コーパスから採取した文書に基づいて構築し,蓄積した環境記憶を与える。
• 参考スコア（独自算出の注目度）: 110.80471334001574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous self-improvement requires an ever-expanding pool of self-generated, diverse, adaptive goals. For language agents, existing training environment pools (hand-curated, statically synthesized, or frozen-verifier) keep the goal distribution fixed as the learner scales. We introduce SPADE (Self-Play in Adaptive Synthetic Executable Environments), a self-play RL framework in which a single LLM plays two roles: an Environment Designer that writes complete, long-horizon training environments as executable code with an OpenAI Gym-style reset()/step() interface, and a Reasoning Agent that learns to act in them. Each is a stateful, multi-turn environment (state transitions, reward functions, and verification code), so one interface spans reasoning problems and multi-step agentic tool use. The Reasoning Agent's regret is estimated using the gap between its reward with and without privileged hints; in optimizing this regret signal the Environment Designer learns to target environments at the edge of the agent's capabilities while keeping them feasible. Through extensive experimentation, we find several components critical to success: grounding the Environment Designer on documents sampled from a large pretraining corpus, and giving it an accumulated environment memory. Scaling to 30B-parameter models, SPADE improves over the strongest fixed-environment baseline by +5.3 on average across eight held-out math, science, code, and reasoning benchmarks, and lifts the tool-use setting by +5.7 on BFCL-v4 multi-turn and +13.9 on ACEBench-Agent; on the games setting, the margin over the strongest baseline grows with model scale. By making environment design itself a learnable component, SPADE takes a concrete step toward open-ended self-improvement.
• Abstract（参考訳）: 継続的自己改善には、自己生成、多様性、適応的な目標のプールを継続的に拡張する必要があります。 言語エージェントの場合、既存のトレーニング環境プール(手作業、静的合成、凍結検証)は学習者の規模に応じてゴール分布を固定する。 本研究では,SPADE (Self-Play in Adaptive Synthetic Executable Environments) という,単一 LLM が2つの役割を担っているセルフプレイ RL フレームワークを紹介した。 それぞれのインターフェースはステートフルでマルチターン環境(状態遷移、報酬関数、検証コード)なので、推論問題とマルチステップエージェントツールの使用にまたがる。 この後悔信号の最適化では、環境設計者はエージェントの能力の端にある環境を目標にしつつ、それらを実現できるように学習する。 大規模な事前学習コーパスから採取した文書に環境デザイナを基盤にして,蓄積した環境記憶を与える。 30Bパラメータモデルにスケールすると、SPADEは8つの数学、科学、コード、推論ベンチマークで平均で5.3の固定環境ベースラインを上回り、BFCL-v4マルチターンで+5.7、ACEBench-Agentで+13.9のツール使用設定を引き上げる。 環境設計自体を学習可能なコンポーネントにすることで、SPADEはオープンな自己改善に向けて具体的な一歩を踏み出します。

関連論文リスト

• EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL [54.09410318521061]
  本稿では,エージェント強化学習(Agentic RL)トレーニングのための完全に自動化されたフレームワークであるEnvFactoryを紹介する。 EnvFactoryは、認証リソースから自律的に、ステートフルで実行可能なツール環境を探索する。 トポロジーを意識したサンプリングとキャリブレーションによる自然なマルチターン軌道を合成する。 トレーニング効率とダウンストリーム性能が向上し、BFCLv3ではQwen3シリーズモデルを最大15%改善し、MPP-Atlasでは+8.6%、VitaBenchでは+6%向上した。
  論文  参考訳（メタデータ） (2026-05-18T17:37:40Z)
• SimWorld Studio: Automatic Environment Generation with Evolving Coding Agent for Embodied Agent Learning [21.4605333924798]
  SimWorld StudioはUnreal Engine 5上に構築されたオープンソースのプラットフォームで、進化するエンボディド学習環境を生成する。 コアとなるSimCoderは、ツール/スキル強化されたコーディングエージェントで、エンジンレベルのコードを書き、実行して、物理的に接地された3D世界を構築する。 生成された世界は、具体的エージェント学習のためのGymスタイルの環境としてエクスポートされる。
  論文  参考訳（メタデータ） (2026-05-10T08:51:50Z)
• EnvSimBench: A Benchmark for Evaluating and Improving LLM-Based Environment Simulation [16.36266898493489]
  有望な方向性は、手作業で作り上げた環境を LLM でシミュレートした環境に置き換えることである。 LLMは環境フィードバックを正確にシミュレートすることができます。 実際には、LLMシミュレーション環境は幻覚、論理的不整合、サイレントステートドリフト障害に悩まされている。
  論文  参考訳（メタデータ） (2026-05-08T05:08:16Z)
• TRACE: Capability-Targeted Agentic Training [11.088296897059157]
  環境特異的なエージェント自己改善のためのエンドツーエンドシステムであるTRACEを紹介する。 TRACEは、機能不足を特定するために、成功と失敗の軌跡を対比している。 目標とするトレーニング環境を合成し、その能力が行使されたかどうかを報奨する。 各合成環境において、LoRAアダプタをRL経由でトレーニングし、推論時に関連するアダプタにルーティングする。
  論文  参考訳（メタデータ） (2026-04-07T02:22:44Z)
• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
  大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。 完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。 私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
  論文  参考訳（メタデータ） (2026-02-10T18:55:41Z)
• EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis [101.67583081810136]
  大規模言語モデル(LLM)は、様々な現実世界環境においてエージェントとして機能するよう訓練されることが期待されている。 このプロセスはリッチで多様なツール・インタラクション・サンドボックスに依存している。 スケーラブルなツールインタラクション環境のための自動化フレームワークであるEnvScalerを提案する。
  論文  参考訳（メタデータ） (2026-01-09T14:32:06Z)
• Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
  本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。 ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。 ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
  論文  参考訳（メタデータ） (2025-12-31T14:03:39Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。