論文の概要: Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization

• arxiv url: http://arxiv.org/abs/2606.12373v1
• Date: Wed, 10 Jun 2026 17:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.601377
• Title: Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization
• Title（参考訳）: LEGO Bricksの検証可能な環境 - 一般化を推論するための再帰的な構成
• Authors: Hao Xiang, Qiaoyu Tang, Le Yu, Yaojie Lu, Xianpei Han, Ben He, Le Sun, Bowen Yu, Peng Wang, Hongyu Lin, Dayiheng Liu,
• Abstract要約: 本稿では,検証可能な環境を構成可能なビルディングブロックとして概念化するフレームワークであるRACES(textbfRecursive textbf Automated textbfComposition for textbfEnvironment textbfScaling)を紹介する。 RACESは300の個別環境で実装され、多様な推論パターンを誘導する合成演算子セットを定義している。
• 参考スコア（独自算出の注目度）: 93.59040719904154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) with verifiable environments has emerged as a powerful approach for enhancing the reasoning capabilities of Large Language Models (LLMs). While prior research demonstrates that scaling environment quantity improves RL performance, existing manual or individual construction methods suffer from linear scaling limits, thereby hindering scalable reasoning generalization. This paper introduces RACES (\textbf{R}ecursive \textbf{A}utomated \textbf{C}omposition for \textbf{E}nvironment \textbf{S}caling), a framework that conceptualizes verifiable environments as composable building blocks that can be recursively assembled. The key insight is that when the codomain (output type) of one environment matches the domain (input type) of another, they can be automatically fused into a new verifiable environment, enabling recursive composition. RACES is implemented with 300 individual environments and defines a set of composition operators (\textsc{SEQUENTIAL}, \textsc{PARALLEL}, \textsc{SORT}, and \textsc{SELECT}) that induce diverse reasoning patterns. Extensive experiments show that RL training on these composite environments consistently enhances reasoning generalization. Specifically, RACES improves DeepSeek-R1-Distill-Qwen-14B by an average of 3.1 points (from 48.2 to 51.3) and boosts Qwen3-14B performance from 58.8 to 61.1 on six benchmarks, which are unseen during the construction of training environments. Moreover, RACES achieves performance comparable to training on 300 individual environments using only 50 base environments, demonstrating significant efficiency in environment utilization.
• Abstract（参考訳）: 検証可能な環境を持つ強化学習(RL)は,大規模言語モデル(LLM)の推論能力を高めるための強力なアプローチとして登場した。 従来の研究では、スケーリング環境の量によってRL性能が向上することが示されているが、既存の手作業や個々の建設手法は線形スケーリングの限界に悩まされ、拡張性のある推論の一般化を妨げている。 本稿では、検証可能な環境を再帰的に組み立て可能な構成可能なビルディングブロックとして概念化するフレームワークであるRACES(\textbf{R}ecursive \textbf{A}utomated \textbf{C}omposition for \textbf{E}nvironment \textbf{S}caling)を紹介する。 重要な洞察は、ある環境のコドメイン(出力タイプ)が別の環境のドメイン(入力タイプ)と一致するとき、それらは自動的に新しい検証可能な環境に融合し、再帰的な構成を可能にすることである。 RACESは300の個別環境で実装され、様々な推論パターンを誘導する合成演算子(\textsc{SEQUENTIAL}, \textsc{PARALLEL}, \textsc{SORT}, \textsc{SELECT})の集合を定義する。 大規模な実験により、これらの複合環境におけるRLトレーニングは推論の一般化を継続的に促進することが示された。 具体的には、RACESはDeepSeek-R1-Distill-Qwen-14Bを平均3.1ポイント(48.2から51.3)改善し、6つのベンチマークでQwen3-14Bのパフォーマンスを58.8から61.1に向上させる。 さらに、RACESは、わずか50のベース環境を使用し、300の個別環境におけるトレーニングに匹敵するパフォーマンスを実現し、環境利用の大幅な効率性を示す。

関連論文リスト

• ClawEnvKit: Automatic Environment Generation for Claw-Like Agents [85.29126619772153]
  我々は、オンデマンドで検証された環境を生成することができる自動生成パイプラインであるClawEnvKitを紹介する。 ClawEnvKitは、(1)自然言語入力から構造化生成パラメータを抽出するパイプライン、(2)タスク仕様、ツールインターフェース、スコアリング設定を生成するジェネレータ、(3)実現可能性、多様性、構造的妥当性、内部整合性を強制するバリデータからなる。 爪のようなエージェントの大規模なベンチマークであるAuto-ClawEvalを構築し、24のカテゴリで1,040の環境を網羅した。
  論文  参考訳（メタデータ） (2026-04-20T17:36:49Z)
• Ambig-IaC: Multi-level Disambiguation for Interactive Cloud Infrastructure-as-Code Synthesis [8.743123758115608]
  大規模言語モデル(LLM)は、自然言語からIaC構成を生成するためにますます使われている。 IaCのあいまいさは, 伸縮可能な構成構造を示す。 多様な候補仕様を生成するトレーニングフリーで不一致駆動型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T20:27:43Z)
• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
  大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。 完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。 私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
  論文  参考訳（メタデータ） (2026-02-10T18:55:41Z)
• RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments [111.87296453908199]
  適応検証環境(RLVE)を用いた強化学習の導入 RLVEは、各検証可能な環境が、トレーニングが進むにつれて、問題の難易度分布をポリシーモデルの能力に動的に適応させることを可能にする。 環境スケーリング,すなわち,トレーニング環境の収集を拡大することで,推論能力が継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-10T17:18:35Z)
• GRASP: A Grid-Based Benchmark for Evaluating Commonsense Spatial Reasoning [2.9312156642007294]
  我々は,エージェントがエネルギー収集問題に対処する16,000のグリッドベースの環境からなるGRASPという大規模ベンチマークを構築した。 GPT-3.5-Turbo, GPT-4o, GPT-o1-miniといった先進的なLCMと比較した。 実験結果から, 高度なLCMでさえ, 常に満足な解を得るのに苦労していることが示唆された。
  論文  参考訳（メタデータ） (2024-07-02T02:27:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。