論文の概要: Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms

• arxiv url: http://arxiv.org/abs/2609.27321v1
• Date: Wed, 23 Sep 2026 03:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.866731
• Title: Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
• Title（参考訳）: 隠れたダイナミックプレイ:解決メカニズムからエージェントRL環境を生成する
• Abstract要約: VHD-Playは、それぞれ数セントのコストで3300の多様なエージェント環境を生産する。 3家族でのQwen3.6-35B-A3Bのトレーニングでは、平均エージェントスコアが0.204から0.815に上昇する。 Eコマースベンチでは、トレーニングされたチェックポイントが倒産せずに全走行を完了し、Qwen3.7-Maxを超える。
• 参考スコア（独自算出の注目度）: 24.151780018434835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model agents increasingly face long-horizon tasks with evolving state, interdependent decisions, and delayed outcomes. Scaling their training requires diverse agentic environments, dependable outcome signals, and low extension cost. Existing generation pipelines commonly construct an environment before defining its outcome rule or annotating its trajectories, leaving dynamics and evaluation to be aligned post hoc. VHD-Play reverses this dependency by sampling and solving a mathematical model before a corpus-grounded setter renders its decision process as stateful tools. The executable dynamics and trajectory-scoring reference are inherited from the same solved model. The pipeline produces 3,300 diverse agentic environments at a cost of a few cents each. Training Qwen3.6-35B-A3B on three families raises its mean agentic score from 0.204 to 0.815 in a five-family diagnostic. Gains also appear on held-out instances from all three training families and eight unseen mechanism families, then extend beyond the generated substrate to external benchmarks for general function calling, travel planning, and 365-day e-commerce. On E-Commerce Bench, the trained checkpoint completes every run without bankruptcy and exceeds Qwen3.7-Max. We compare written-out problems with stateful versions that reveal or hide their parameters. The comparison shows that most of the learnable gap lies in stateful interaction rather than underlying problem solving. A frozen 35B setter realizes larger environments, and scale-matched training retains gains as mechanism size and horizon grow, indicating the potential for an evolving training substrate.
• Abstract（参考訳）: 言語モデルエージェントは、進化する状態、相互依存的な決定、遅延した結果によって、ますます長い水平タスクに直面している。 トレーニングをスケールするには、多様なエージェント環境、信頼できる結果信号、低拡張コストが必要です。 既存の生成パイプラインは一般的に、結果ルールを定義する前に環境を構築したり、軌道に注釈を付けたりする。 VHD-Playは、コーパスグラウンドのセッターが決定プロセスをステートフルツールとしてレンダリングする前に、数学的モデルのサンプリングと解決によって、この依存関係を反転させる。 実行可能ダイナミクスとトラジェクトリ・スコリング参照は、同じ解決されたモデルから継承される。 パイプラインは3,300の多様なエージェント環境をそれぞれ数セントで生産する。 3家系でのQwen3.6-35B-A3Bのトレーニングでは、平均エージェントスコアが0.204から0.815に上昇する。 3つのトレーニングファミリと8つの未知のメカニズムファミリのホールドアウトインスタンスにもゲインが表示され、生成されたベースから、一般的な関数呼び出し、旅行計画、および365日のeコマースのための外部ベンチマークまで拡張される。 Eコマースベンチでは、トレーニングされたチェックポイントが倒産せずに全走行を完了し、Qwen3.7-Maxを超える。 書き込み問題とステートフルバージョンを比較して、パラメータを明らかにしたり隠したりします。 この比較は、学習可能なギャップのほとんどは、基礎となる問題解決よりもステートフルな相互作用にあることを示している。 凍結された35Bセッターはより大きな環境を実現し、スケールマッチングされたトレーニングは、メカニズムのサイズや水平線が大きくなるにつれて、ゲインを保ち、成長するトレーニング基板の可能性を示している。

関連論文リスト

• AgentOmnia: Scaling Agentic Models for Full-Scenario Applications [36.656762500581216]
  大規模言語モデルエージェントは急速に進歩しているが、ドメイン、機能、タスクの難しさ、インタラクション設定にはまだ進歩が断片化されている。 これはTo-Consumer(ToC)、To-Business(ToB)、To-Employee(ToE)アプリケーション間でタスク空間の定義、データ合成、ポストトレーニング、評価、改善を調整するフレームワークです。
  論文  参考訳（メタデータ） (2026-07-25T09:58:24Z)
• Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents [4.765206163164323]
  モデル重みや評価環境を変化させることなく冷凍LDMエージェントを改善するライフサイクル対応ランタイムハーネスであるLife-Harnessを提案する。 ライフ・ハーネスは、繰り返し発生する相互作用の失敗を、環境契約、手続きスキル、行動実現、軌道規制にまたがる再利用可能な介入に変換することによって、訓練軌道から進化する。 ライフハーネスはモデル116のうち116で改善され、環境設定は18モデルバックボーンで改善され、平均的な相対的改善は88.5%である。
  論文  参考訳（メタデータ） (2026-05-21T08:36:49Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
  我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。 我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。 我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
  論文  参考訳（メタデータ） (2026-05-07T00:40:32Z)
• ClawEnvKit: Automatic Environment Generation for Claw-Like Agents [85.29126619772153]
  我々は、オンデマンドで検証された環境を生成することができる自動生成パイプラインであるClawEnvKitを紹介する。 ClawEnvKitは、(1)自然言語入力から構造化生成パラメータを抽出するパイプライン、(2)タスク仕様、ツールインターフェース、スコアリング設定を生成するジェネレータ、(3)実現可能性、多様性、構造的妥当性、内部整合性を強制するバリデータからなる。 爪のようなエージェントの大規模なベンチマークであるAuto-ClawEvalを構築し、24のカテゴリで1,040の環境を網羅した。
  論文  参考訳（メタデータ） (2026-04-20T17:36:49Z)
• ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
  ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。 そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。 また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。