論文の概要: Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization
- arxiv url: http://arxiv.org/abs/2606.12373v1
- Date: Wed, 10 Jun 2026 17:39:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.601377
- Title: Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization
- Title（参考訳）: LEGO Bricksの検証可能な環境 - 一般化を推論するための再帰的な構成
- Abstract要約: 本稿では,検証可能な環境を構成可能なビルディングブロックとして概念化するフレームワークであるRACES(textbfRecursive textbf Automated textbfComposition for textbfEnvironment textbfScaling)を紹介する。
RACESは300の個別環境で実装され、多様な推論パターンを誘導する合成演算子セットを定義している。
- 参考スコア（独自算出の注目度）: 93.59040719904154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning (RL) with verifiable environments has emerged as a powerful approach for enhancing the reasoning capabilities of Large Language Models (LLMs). While prior research demonstrates that scaling environment quantity improves RL performance, existing manual or individual construction methods suffer from linear scaling limits, thereby hindering scalable reasoning generalization. This paper introduces RACES (\textbf{R}ecursive \textbf{A}utomated \textbf{C}omposition for \textbf{E}nvironment \textbf{S}caling), a framework that conceptualizes verifiable environments as composable building blocks that can be recursively assembled. The key insight is that when the codomain (output type) of one environment matches the domain (input type) of another, they can be automatically fused into a new verifiable environment, enabling recursive composition. RACES is implemented with 300 individual environments and defines a set of composition operators (\textsc{SEQUENTIAL}, \textsc{PARALLEL}, \textsc{SORT}, and \textsc{SELECT}) that induce diverse reasoning patterns. Extensive experiments show that RL training on these composite environments consistently enhances reasoning generalization. Specifically, RACES improves DeepSeek-R1-Distill-Qwen-14B by an average of 3.1 points (from 48.2 to 51.3) and boosts Qwen3-14B performance from 58.8 to 61.1 on six benchmarks, which are unseen during the construction of training environments. Moreover, RACES achieves performance comparable to training on 300 individual environments using only 50 base environments, demonstrating significant efficiency in environment utilization.
- Abstract（参考訳）: 検証可能な環境を持つ強化学習(RL)は,大規模言語モデル(LLM)の推論能力を高めるための強力なアプローチとして登場した。
従来の研究では、スケーリング環境の量によってRL性能が向上することが示されているが、既存の手作業や個々の建設手法は線形スケーリングの限界に悩まされ、拡張性のある推論の一般化を妨げている。
本稿では、検証可能な環境を再帰的に組み立て可能な構成可能なビルディングブロックとして概念化するフレームワークであるRACES(\textbf{R}ecursive \textbf{A}utomated \textbf{C}omposition for \textbf{E}nvironment \textbf{S}caling)を紹介する。
重要な洞察は、ある環境のコドメイン(出力タイプ)が別の環境のドメイン(入力タイプ)と一致するとき、それらは自動的に新しい検証可能な環境に融合し、再帰的な構成を可能にすることである。
RACESは300の個別環境で実装され、様々な推論パターンを誘導する合成演算子(\textsc{SEQUENTIAL}, \textsc{PARALLEL}, \textsc{SORT}, \textsc{SELECT})の集合を定義する。
大規模な実験により、これらの複合環境におけるRLトレーニングは推論の一般化を継続的に促進することが示された。
具体的には、RACESはDeepSeek-R1-Distill-Qwen-14Bを平均3.1ポイント(48.2から51.3)改善し、6つのベンチマークでQwen3-14Bのパフォーマンスを58.8から61.1に向上させる。
さらに、RACESは、わずか50のベース環境を使用し、300の個別環境におけるトレーニングに匹敵するパフォーマンスを実現し、環境利用の大幅な効率性を示す。
関連論文リスト
- AgentMercury: Your Agent Can Synthesize Verifiable Environments for Business Scenarios at scale [6.489568846701505]
我々は高レベルのビジネスシナリオから実行可能な環境を合成するためのフレームワークであるAgentMercuryを紹介する。
我々は14の産業と50の国にまたがる4,783の実行可能な環境を構築し、強化学習のためのトレーニング基板として利用した。
建設トレース上での微調整Qwen3.5-35B-A3Bは,維持型ビジネスシナリオにおいて,実行可能オーサリングの成功率を3.3%から83.3%に向上させることを示す。
論文 参考訳（メタデータ） (2026-08-21T00:15:45Z) - SPADE: Self-Play in Adaptive Synthetic Executable Environments [110.80471334001574]
1つのLLMが2つの役割を演じるセルフプレイのRLフレームワークであるSPADEを紹介する。
Environment Designerは、OpenAI Gymスタイルのreset()/step()インターフェイスで実行可能なコードとして、完全な長距離トレーニング環境を記述する。
環境デザイナは,大規模な事前学習コーパスから採取した文書に基づいて構築し,蓄積した環境記憶を与える。
論文 参考訳（メタデータ） (2026-08-19T17:58:56Z) - NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research [5.287668610154937]
トレーニング後のアライメントは、大きな言語モデルの能力に従って、推論と人間の好みを決定する。
この研究は、Qwen3-8Bベース上に構築された完全に透明でアブレーション駆動のポストトレーニングパイプラインであるNebulaExpを提示する。
論文 参考訳（メタデータ） (2026-06-25T07:03:25Z) - ClawEnvKit: Automatic Environment Generation for Claw-Like Agents [85.29126619772153]
我々は、オンデマンドで検証された環境を生成することができる自動生成パイプラインであるClawEnvKitを紹介する。
ClawEnvKitは、(1)自然言語入力から構造化生成パラメータを抽出するパイプライン、(2)タスク仕様、ツールインターフェース、スコアリング設定を生成するジェネレータ、(3)実現可能性、多様性、構造的妥当性、内部整合性を強制するバリデータからなる。
爪のようなエージェントの大規模なベンチマークであるAuto-ClawEvalを構築し、24のカテゴリで1,040の環境を網羅した。
論文 参考訳（メタデータ） (2026-04-20T17:36:49Z) - Ambig-IaC: Multi-level Disambiguation for Interactive Cloud Infrastructure-as-Code Synthesis [8.743123758115608]
大規模言語モデル(LLM)は、自然言語からIaC構成を生成するためにますます使われている。
IaCのあいまいさは, 伸縮可能な構成構造を示す。
多様な候補仕様を生成するトレーニングフリーで不一致駆動型フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T20:27:43Z) - Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。
完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。
私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
論文 参考訳（メタデータ） (2026-02-10T18:55:41Z) - RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments [111.87296453908199]
適応検証環境(RLVE)を用いた強化学習の導入
RLVEは、各検証可能な環境が、トレーニングが進むにつれて、問題の難易度分布をポリシーモデルの能力に動的に適応させることを可能にする。
環境スケーリング,すなわち,トレーニング環境の収集を拡大することで,推論能力が継続的に向上することを示す。
論文 参考訳（メタデータ） (2025-11-10T17:18:35Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - GRASP: A Grid-Based Benchmark for Evaluating Commonsense Spatial Reasoning [2.9312156642007294]
我々は,エージェントがエネルギー収集問題に対処する16,000のグリッドベースの環境からなるGRASPという大規模ベンチマークを構築した。
GPT-3.5-Turbo, GPT-4o, GPT-o1-miniといった先進的なLCMと比較した。
実験結果から, 高度なLCMでさえ, 常に満足な解を得るのに苦労していることが示唆された。
論文 参考訳（メタデータ） (2024-07-02T02:27:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。