論文の概要: AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.22857v1
• Date: Sun, 28 Dec 2025 09:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.254497
• Title: AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning
• Title（参考訳）: AutoForge: エージェント強化学習のための環境自動合成
• Authors: Shihao Cai, Runnan Fang, Jialong Wu, Baixuan Li, Xinyu Wang, Yong Jiang, Liangcai Su, Liwen Zhang, Wenbiao Yin, Zhen Zhang, Fuli Feng, Pengjun Xie, Xiaobin Wang,
• Abstract要約: シミュレーション環境における強化学習の実施は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。 これまでの作業は、半自動化された環境合成や、十分な困難を欠いたタスクに限られており、幅や深さがほとんどない。 本稿では,高難易度かつ容易に検証可能なタスクに関連付けられたシミュレーション環境の,自動化されたスケーラブルな合成のための統一パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 71.4322853508083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conducting reinforcement learning (RL) in simulated environments offers a cost-effective and highly scalable way to enhance language-based agents. However, previous work has been limited to semi-automated environment synthesis or tasks lacking sufficient difficulty, offering little breadth or depth. In addition, the instability of simulated users integrated into these environments, along with the heterogeneity across simulated environments, poses further challenges for agentic RL. In this work, we propose: (1) a unified pipeline for automated and scalable synthesis of simulated environments associated with high-difficulty but easily verifiable tasks; and (2) an environment level RL algorithm that not only effectively mitigates user instability but also performs advantage estimation at the environment level, thereby improving training efficiency and stability. Comprehensive evaluations on agentic benchmarks, including tau-bench, tau2-Bench, and VitaBench, validate the effectiveness of our proposed method. Further in-depth analyses underscore its out-of-domain generalization.
• Abstract（参考訳）: シミュレーション環境での強化学習(RL)は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。 しかし、これまでの作業は半自動化された環境合成や十分な困難さを欠いたタスクに限られており、幅や深さはほとんど提供されていない。 さらに、これらの環境に統合されたシミュレーションユーザの不安定性と、シミュレーション環境間の不均一性は、エージェントRLにさらなる課題をもたらす。 本研究では,(1)高難易度かつ容易に検証可能なタスクに関連するシミュレーション環境を自動かつスケーラブルに合成するための統合パイプラインを提案する。(2) ユーザの不安定性を効果的に軽減するだけでなく,環境レベルで有利な推定を行う環境レベルのRLアルゴリズムにより,トレーニング効率と安定性を向上させる。 Tau-bench, tau2-Bench, VitaBench などのエージェントベンチマークの総合評価を行い,提案手法の有効性を検証した。 さらなる深い分析は、その領域外一般化を裏付ける。

関連論文リスト

• Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
  大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。 環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-06T22:24:35Z)
• Simulating Environments with Reasoning Models for Agent Training [55.98861707136674]
  トレーニング用の起動環境の構築は重く、脆く、進捗を制限します。 我々はSimia-SFTとSimia-RLの2つのフレームワークを提案する。 Simia-SFTとSimia-RLは、環境工学を使わずにスケーラブルなエージェントトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-11-03T18:29:57Z)
• Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
  大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。 これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。 また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
  論文  参考訳（メタデータ） (2025-08-12T09:45:19Z)
• Mind the Gap: Towards Generalizable Autonomous Penetration Testing via Domain Randomization and Meta-Reinforcement Learning [15.619925926862235]
  GAPは汎用的な自律型ペンテスティングフレームワークである。 現実的な環境で効率的な政策トレーニングを実現することを目的としている。 また、あるインスタンスから他のケースについて推論できるエージェントを訓練する。
  論文  参考訳（メタデータ） (2024-12-05T11:24:27Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification [22.241676350331968]
  本研究は,不確実性パラメータを含むシミュレーション環境とその可能な値の集合を含むシナリオに焦点を当てる。 本研究の目的は,不確実性パラメータセット上での最悪の性能を最適化し,対応する実環境における性能を保証することである。 マルチジョイント・ダイナミックスと接触(MuJoCo)環境の実験により,提案手法は複数のベースライン・アプローチに比較して最悪の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T10:18:31Z)
• Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design [121.73425076217471]
  本研究では,未知のパラメータを持つ環境を提供するUnsupervised Environment Design (UED)を提案する。 プロタゴニスト・アンタゴニストによるレグレト環境デザイン(PAIRED)と呼ぶ。 実験により, PAIREDは複雑な環境の自然なカリキュラムを生産し, PAIREDエージェントは, 高度に新規な環境での試験において, 高いゼロショット転送性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-03T17:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。