論文の概要: Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL
- arxiv url: http://arxiv.org/abs/2608.14312v1
- Date: Fri, 14 Aug 2026 13:54:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.391251
- Title: Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL
- Title（参考訳）: Envs-FORGE:Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL
- Abstract要約: Envs-FORGEは、検証者報酬を種ごとの環境合成アクションに変換するプロンプトポリシーである。
シードパス率を推定し、ターゲット学習フロンティア周辺で6つのプロジェクション指向アクションをスコアし、シードごとの混合整数線形プログラムを解決する。
すべての合成法は100個の認証された環境を輸出し、2.27M-2.88M合成トークンを使用する。
- 参考スコア（独自算出の注目度）: 31.348699617272732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) for terminal agents needs executable training environments with reliable rewards and useful difficulty. Fixed recipes such as few-shot, Self-Instruct, and Evol-Instruct apply the same prompting policy to every seed, even when the current policy would benefit from a harder, easier, or simply different task. We present Envs-FORGE, a prompting policy that converts verifier rewards into per-seed environment-synthesis actions. Envs-FORGE estimates seed pass rates, scores six projection--direction actions around a target learning frontier, and solves a per-seed mixed-integer linear program (MILP) to choose the action that conditions generation. The selected action drives synchronized rewriting of the instruction, fixtures, oracle solution, tests, and Docker environment; only gold-verified bundles enter RL training. The indexed MILP form also supports optional soft skill coverage for portfolio planning. On Qwen 3.5 35B, Envs-FORGE improves Pass@1 over Base by 9.2 percentage points on tb-core (40.0% to 49.2%) and 6.4 points on tb-2.0 (23.0% to 29.4%), exceeding the strongest fixed-recipe baseline by 2.4 and 2.1 points. It reaches 77.1% on SWE-bench Verified versus 73.4% for Base, and improves tb-core by 6.8--9.2 points across the evaluated 4B--35B models. All synthesis methods export 100 verified environments and use 2.27M--2.88M synthesis tokens, placing the comparison at the same downstream training-set size and the same operational scale. The source code is available at https://github.com/DataArcTech/DataArc-SynData-Toolkit/.
- Abstract（参考訳）: 端末エージェントのための強化学習(RL)には、信頼できる報酬と有用な困難を伴う実行可能なトレーニング環境が必要である。
少数ショット、セルフインストラクション、Evol-Instructのような固定されたレシピは、現在のポリシーがより難しく、簡単で、あるいは単に異なるタスクの恩恵を受ける場合であっても、すべてのシードに同じプロンプトポリシーを適用します。
本稿では,検証者報酬を種ごとの環境合成行動に変換するプロンプトポリシーであるEnvs-FORGEを紹介する。
Envs-FORGEはシードパス率を推定し、ターゲット学習フロンティア周辺で6つのプロジェクション指向アクションをスコアし、シードごとの混合整数線形プログラム(MILP)を解くことで、条件が生じるアクションを選択する。
選択されたアクションは、命令、フィクスチャ、オラクルソリューション、テスト、Docker環境の同期リライトを駆動する。
インデックスされたMILP形式はポートフォリオ計画のためのオプションのソフトスキルカバレッジもサポートする。
Qwen 3.5 35Bでは、Envs-FORGE は tb-core (40.0%から49.2%) で9.2ポイント、tb-2.0 (23.0%から29.4%) で6.4ポイントの改善を行い、ベースラインが2.4と2.1ポイントを超えた。
SWEベンチ検証では77.1%、ベースでは73.4%、評価された4B-35Bモデルでは6.8--9.2ポイント向上している。
すべての合成法は100の検証された環境を輸出し、2.27M--2.88Mの合成トークンを使用する。
ソースコードはhttps://github.com/DataArcTech/DataArc-SynData-Toolkit/で入手できる。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Navigation-Informed Embeddings: Dense-Retriever Adaptation from Agent Search Traces [0.0]
追跡対象の家系であるNIE(Navigation-Informed Embeddings)を紹介する。
NIE-Stopは停止する文書をソフトなポジティブに変え、NIE-Pathは先行するパス文書をハードな比較として使用する。
NIE-Pathは長路性能を55.4に引き上げ、未適応のエンコーダは46.7に向上した。
論文 参考訳（メタデータ） (2026-08-16T23:07:44Z) - Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。
RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。
軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
論文 参考訳（メタデータ） (2026-08-05T23:24:26Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - ProCUA-SFT Technical Report [80.97543110323542]
コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。
93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。
ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
論文 参考訳（メタデータ） (2026-06-15T22:04:11Z) - Cross-Environment Neural Reranking for Sample-Efficient Action Selection in Text-Based Agents [0.0]
大規模言語モデルエージェントは、テキストベースのベンチマークでは高いパフォーマンスを達成するが、不当な推論コストを発生させる。
単一軽量モデルが多様な環境において動作選択を行うことができるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-01T13:00:58Z) - Orchard: An Open-Source Agentic Modeling Framework [124.68499958175111]
スケーラブルなエージェントモデリングのためのオープンソースのフレームワークOrchardを紹介します。
Orchard Envは、サンドボックスライフサイクル管理のための再利用可能なプリミティブを提供する軽量環境サービスである。
Orchard Envの上に、3つのエージェントモデリングレシピを構築します。
論文 参考訳（メタデータ） (2026-05-14T16:35:12Z) - CRANE: Constrained Reasoning Injection for Code Agents via Nullspace Editing [5.661334639541121]
CRANEは、シンキング・インストラクトデルタを、インストラクトバックボーンの候補推論編集のプールとして扱う、トレーニング不要なパラメータ編集手法である。
ペア化されたインストラクトとシンキングのチェックポイントを組み合わせることで、CRANEはどちらのモデルよりも強力なゲインを提供する。
論文 参考訳（メタデータ） (2026-05-13T20:09:35Z) - Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。
本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
論文 参考訳（メタデータ） (2026-04-03T08:36:03Z) - Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。
エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
論文 参考訳（メタデータ） (2026-02-11T07:53:51Z) - Endless Terminals: Scaling RL Environments for Terminal Agents [39.60665149203152]
Endless Terminalsは、人間のアノテーションを使わずに端末用タスクを手続き的に生成する、完全に自律的なパイプラインである。
我々は、バイナリエピソードレベルの報酬と最小の相互作用ループを持つバニラPPOを使用してエージェントを訓練する。
これらの改善は人為的なベンチマークに移行する。
論文 参考訳（メタデータ） (2026-01-23T04:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。