論文の概要: From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning

• arxiv url: http://arxiv.org/abs/2606.17682v1
• Date: Tue, 16 Jun 2026 08:48:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.360206
• Title: From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning
• Title（参考訳）: トレーナーからトレーナーへ:マルチエージェント推論によるRLのためのLLM設計トレーニング環境
• Authors: Chao Chen, Chengzu Li, Zhiwei Li, Yinhong Liu, Zhijiang Guo,
• Abstract要約: 大規模言語モデル(LLM)トレーニングのための強化学習パイプラインは、しばしばステージ間で手動で再設計された環境に依存します。 LLM-as-Environment-Engineer フレームワークを提案する。 また、MAPF-FrozenLakeは、多次元環境構成を公開する制御可能なテストベッドである。
• 参考スコア（独自算出の注目度）: 24.54315594953994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning pipelines for Large Language Model (LLM) training often rely on manually redesigned environments between stages, requiring practitioners to heuristically infer which configuration will best improve the current policy. To automate this process, we propose the LLM-as-Environment-Engineer framework in which the current policy model analyzes failure trajectories together with contextual information and proposes modifications to the next-stage training environment configuration. We also introduce MAPF-FrozenLake, a controllable testbed whose generator exposes multi-dimensional environment configurations, making it suitable for studying and benchmarking environment redesign. On this testbed, we condition the environment engineer on structured summaries of policy behavior, failure cases, and environment statistics, from which it produces the configuration for the next training stage. With Qwen3-4B as the backbone, our framework achieves the strongest aggregate performance on our benchmarks, outperforming larger proprietary LLMs (e.g., GPT, Gemini) and fixed-environment training baselines. We further analyze which forms of context are most effective, finding that successful environment updates rely on failure evidence and preserve configurations that already work. Interestingly, the current RL checkpoint serves as a better environment engineer than the original base model, suggesting that policy learning improves the model's ability to diagnose its remaining weaknesses.
• Abstract（参考訳）: 大規模言語モデル(LLM)トレーニングのための強化学習パイプラインは、しばしばステージ間で手動で再設計された環境に依存しており、実践者はどの設定が現在のポリシーを最も良く改善するかをヒューリスティックに推測する必要がある。 このプロセスを自動化するために、現在のポリシーモデルがコンテキスト情報とともに障害軌跡を解析し、次段階のトレーニング環境設定の変更を提案するLCM-as-Environment-Engineerフレームワークを提案する。 また、MAPF-FrozenLakeは、多次元環境構成を公開する制御可能なテストベッドであり、環境の再設計と評価に適している。 本テストベッドでは, 環境技術者に対して, 政策行動, 障害事例, 環境統計の構造化した要約を条件として, 次の訓練段階の設定を生成する。 Qwen3-4Bをバックボーンとして、我々のフレームワークはベンチマーク上で最も強力な総合的なパフォーマンスを実現し、より大きなプロプライエタリなLCM(例えば、GPT、Gemini)と固定環境トレーニングベースラインを上回ります。 さらに、どの形式のコンテキストが最も効果的かを分析し、成功した環境更新は失敗の証拠に頼り、すでに機能している設定を保存する。 興味深いことに、現在のRLチェックポイントは、元のベースモデルよりも優れた環境エンジニアとして機能し、ポリシー学習がモデルの残りの弱点を診断する能力を改善することを示唆している。

関連論文リスト

• Simulating Environments with Reasoning Models for Agent Training [55.98861707136674]
  トレーニング用の起動環境の構築は重く、脆く、進捗を制限します。 我々はSimia-SFTとSimia-RLの2つのフレームワークを提案する。 Simia-SFTとSimia-RLは、環境工学を使わずにスケーラブルなエージェントトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-11-03T18:29:57Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
  大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。 これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。 また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
  論文  参考訳（メタデータ） (2025-08-12T09:45:19Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Training Agents with Weakly Supervised Feedback from Large Language Models [19.216542820742607]
  本稿では,批判的LSMからの弱教師付き信号を用いたLSMエージェントの新しいトレーニング手法を提案する。 エージェントは反復的に訓練され、まず環境相互作用を通じて軌道を生成する。 API-bankデータセットのテストでは、エージェントの能力とGPT-4に匹敵するパフォーマンスが一貫して改善されている。
  論文  参考訳（メタデータ） (2024-11-29T08:47:04Z)
• Enhancing the Hierarchical Environment Design via Generative Trajectory Modeling [8.256433006393243]
  本稿では,資源制約下での環境設計のための階層型MDPフレームワークを提案する。 低レベルの学生エージェントに適した訓練環境を生成する上位レベルのRL教師エージェントで構成されている。 提案手法は,エージェントと環境間の資源集約的な相互作用を著しく低減する。
  論文  参考訳（メタデータ） (2023-09-30T08:21:32Z)
• Online Reinforcement Learning in Non-Stationary Context-Driven Environments [12.954992692713898]
  非定常環境におけるオンライン強化学習(RL)について検討する。 オンラインRLは「破滅的忘れ」 (CF) によってこのような環境において困難である 我々は,従来の経験に則った政策出力を固定することでCFと戦うオンラインRLアプローチであるローカル制約政策最適化(LCPO)を提示する。
  論文  参考訳（メタデータ） (2023-02-04T15:31:19Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。