論文の概要: AutoGym: Blueprint-First Generation of Verifiable Agent Gyms
- arxiv url: http://arxiv.org/abs/2609.22592v1
- Date: Fri, 18 Sep 2026 21:18:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.467478
- Title: AutoGym: Blueprint-First Generation of Verifiable Agent Gyms
- Title（参考訳）: AutoGym: 検証可能なエージェントジャムの青写真第一世代
- Abstract要約: AutoGymは、最小限のドメインシードまたは以前のモデルトラジェクトリからジム(タスク、実行環境、検証)を生成するフレームワークである。
明示的な生成パラメータは、タスクトポロジ、相互作用深さ、能力軸、質問難読化、およびイントラクタ構成を制御する。
AutoGymは、フロンティアモデルに挑戦するインスタンスを含む、能力スペクトルにまたがるジムを生成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training agents with reinforcement learning requires a gym, comprising a task, an executable environment in which the task can be attempted, and a verifier that reliably distinguishes success from failure. Constructing such gyms remains manual, expensive, and static. Task sets saturate as models improve and are increasingly exposed to contamination. Synthetic generation offers scale, but single-pass synthesis produces tasks whose difficulty is largely cosmetic. Models comparable in capability solve them despite convoluted phrasing, and correctness must be adjudicated post-hoc by unreliable LLM judges. We present AutoGym, a framework that generates complete gyms (tasks, executable environments, and verifiers) from a minimal domain seed or prior model trajectories. AutoGym introduces three mechanisms. (1) Blueprint-first generation specifies the valid solution space, environment requirements, and verification criteria before the environment is materialized, making solvability a construction prerequisite rather than a property verified after the fact. (2) Explicit generation parameters control task topology, interaction depth, capability axes, question obfuscation, and distractor composition, enabling fine-grained difficulty steering. (3) Active curriculum synthesis uses performance-informed calibration to adjust the distribution over these parameters as model capabilities evolve. Across productivity and temporal-reasoning settings, AutoGym generates gyms spanning the capability spectrum, including instances that challenge frontier models.
- Abstract（参考訳）: 強化学習を行う訓練エージェントには、タスクと、タスクを試みられる実行可能な環境と、成功と失敗を確実に区別する検証器とを含むジムが必要である。
このようなジムの建設は、手作業で、高価で、静的なままである。
モデルは改善され、汚染にさらされるにつれてタスクセットは飽和する。
合成生成はスケールを提供するが、シングルパス合成は難易度がほとんど化粧品であるタスクを生成する。
計算能力に匹敵するモデルは、難解な言い回しにもかかわらずそれらを解決し、信頼性の低いLLM審査員によって正当性を判断しなければならない。
本稿では,最小限のドメインシードあるいは事前モデルトラジェクトリから完全なジム(タスク,実行環境,検証)を生成するフレームワークであるAutoGymを提案する。
AutoGymには3つのメカニズムがある。
1)ブループリント第一世代は、環境が成立する前に有効なソリューション空間、環境要件及び検証基準を規定し、その事実の後に検証された特性よりも、可溶性は建設の前提条件とする。
2)タスクトポロジ,インタラクション深度,能力軸,質問難読化,イントラクタ構成を明示的生成パラメータが制御し,きめ細かな操作が可能である。
3) 能動カリキュラム合成では, モデル能力の発達に伴い, 性能インフォームド・キャリブレーションを用いてパラメータの分布を調整している。
AutoGymは生産性と時間領域の設定全体にわたって、フロンティアモデルに挑戦するインスタンスを含む、能力スペクトルにまたがるジムを生成する。
関連論文リスト
- RoboWits: Unexpected Challenges for Robotic Creative Problem Solving [58.58727722988084]
我々は、認知的推論、創造的ツールの使用、予期しない状況に対する堅牢性を評価するために設計された、双方向のロボットベンチマークであるRoboWitsを紹介する。
このパイプラインを用いて,30種類の種タスクと208のタスクを,幾何学的,物質的,集合的推論にまたがる変異と難易度でキュレートした。
プレトレーニングされたVLAは,単一タスクの微調整後にシードタスクに予備的な成功を示すが,変異タスクの実行に苦慮している。
論文 参考訳（メタデータ） (2026-05-28T17:57:15Z) - Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards [76.49428173793386]
LLMは、中間出力を伝搬しながら、正しい順序で複数の依存APIを呼び出す必要がある。
既存の環境は、シミュレーションデータを使った単純なターン毎の関数呼び出しとバイナリ報酬に重点を置いている。
まず、実APIレスポンスの大規模キャッシュを背景とした強化学習環境を構築し、有効なマルチステップオーケストレーショントレースをサンプリングするデータ合成パイプラインを実現する。
第二に、正当性を原子の妥当性とオーケストレーションに分解する、段階的な報酬設計を提案する。
論文 参考訳（メタデータ） (2026-03-25T18:31:39Z) - CORAL: Scalable Multi-Task Robot Learning via LoRA Experts [49.759823970016974]
実世界のロボット工学におけるビジョン・ランゲージ・アクション(VLA)モデルは、コアマルチタスク学習の課題を露呈する。
タスク毎に個別の完全なチェックポイントを維持することは、しばしばストレージとデプロイメントの禁止である。
主にマルチタスク干渉を軽減するために設計されたバックボーンおよび非依存のフレームワークであるCORALを提案する。
論文 参考訳（メタデータ） (2026-03-10T07:28:41Z) - AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning [71.4322853508083]
シミュレーション環境における強化学習の実施は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。
これまでの作業は、半自動化された環境合成や、十分な困難を欠いたタスクに限られており、幅や深さがほとんどない。
本稿では,高難易度かつ容易に検証可能なタスクに関連付けられたシミュレーション環境の,自動化されたスケーラブルな合成のための統一パイプラインを提案する。
論文 参考訳（メタデータ） (2025-12-28T09:43:11Z) - CuES: A Curiosity-driven and Environment-grounded Synthesis Framework for Agentic RL [35.086788669916594]
大規模言語モデルベースのエージェントは、複雑なツール拡張環境にますますデプロイされている。
既存のアプローチは通常、新しい環境で失敗する前提である事前定義されたタスクコレクションを仮定する。
そこで我々はCuESを提案する。CuESはキュリオシティ駆動環境基盤合成フレームワークで、多様で実行可能で有意義なタスクを自律的に生成する。
論文 参考訳（メタデータ） (2025-12-01T06:11:37Z) - SONA: Learning Conditional, Unconditional, and Mismatching-Aware Discriminator [54.562217603802075]
帰納的バイアスを伴う最終層において,自然性(美容性)とアライメントを別々に投影するSONA(Sum of Naturalness and Alignment)を導入する。
クラス条件生成タスクの実験により、SONAは最先端の手法に比べて優れたサンプル品質と条件アライメントを達成することが示された。
論文 参考訳（メタデータ） (2025-10-06T08:26:06Z) - Task and Domain Adaptive Reinforcement Learning for Robot Control [0.34137115855910755]
課題や環境条件に応じて動的にポリシーを適応する新しい適応エージェントを提案する。
このエージェントはIsaacGym上に作られたカスタムで高度に並列化されたシミュレータを使って訓練されている。
実世界において、さまざまな課題を解くために、飛行飛行のためにゼロショット転送を行う。
論文 参考訳（メタデータ） (2024-04-29T14:02:02Z) - Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。
従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。
本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
論文 参考訳（メタデータ） (2024-02-01T08:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。