論文の概要: How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies

• arxiv url: http://arxiv.org/abs/2610.23946v2
• Date: Tue, 20 Oct 2026 01:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 00:37:12.126122
• Title: How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies
• Title（参考訳）: エージェント強化学習におけるデータスケール : 法則と合成方略
• Abstract要約: エージェントデータを3つの濃度軸(タスク、環境、軌道)に分解する 我々は、価格合成法に適合した法則を共通の支配者として用いている。 我々は,Chinchillaスタイルの計算最適レシピを検証し,ホールドアウトスケールで検証する。
• 参考スコア（独自算出の注目度）: 17.77906449209264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining scaling laws treat training data as a one-dimensional quantity: a token count. Agentic reinforcement learning (RL) inherits this scalar abstraction, but modern synthesis pipelines now generate \textit{tasks}, \textit{environments}, and \textit{trajectories} independently and at very different costs, turning data into a structured design space. This raises a question pretraining never had to answer: given a synthesis budget, \textit{which axis} should be scaled? We address this question end-to-end with three tightly coupled contributions. First, we decompose agentic data into three cardinality axes (task, environment, trajectory), plus a reward-density control variable, and fit per-axis scaling relations on different large language models (LLMs) across math+code, SWE, web, and UI/tool application domains. Across all model sizes, model families, domains, and RL algorithms (PPO and GRPO) we measured, the scaling exponents order as environment $>$ task $>$ trajectory. When environment diversity is decomposed into world and environment-structure diversity, its advantage is mainly driven by the former, while the latter is just comparable to the task diversity. Second, we use the fitted laws as a common ruler to price synthesis methods, capturing each method's efficiency as a per-axis discount factor and identifying critical synthetic-to-real ratios at which collapse begins; these ratios differ by an order of magnitude across axes. Third, we cast budget allocation as a constrained optimization under our laws and discounts, deriving a Chinchilla-style compute-optimal recipe and validating it at held-out scale. The empirical results demonstrate that following the recipe yields up to $1.7\times$ compute efficiency over the dominant ``scale-the-trajectories'' practice.
• Abstract（参考訳）: スケーリング法則の事前訓練は、トレーニングデータを1次元の量として扱う。 エージェント強化学習(RL)は、このスカラー抽象を継承するが、現代の合成パイプラインは、独立して、また全く異なるコストで、データを構造化設計空間に変換する。 合成予算があれば、 \textit{which axis} はスケールすべきだろうか? 3つの密結合したコントリビューションで、エンドツーエンドでこの問題に対処します。 まず,エージェントデータを3つの基数軸(タスク,環境,軌道)と報酬密度制御変数に分解し,算術+コード,SWE,Web,UI/ツールアプリケーションドメインの異なる大言語モデル(LLM)の軸ごとのスケーリング関係に適合させる。 モデルのサイズ、モデルファミリ、ドメイン、およびRLアルゴリズム(PPOおよびGRPO)全体で、スケーリング指数は環境$>$ Task $>$ trajectoryとして順序づけられる。 環境の多様性が世界と環境構造に分解されると、その利点は主に前者によって、後者はタスクの多様性に匹敵する。 第2に,各手法の効率を軸ごとの割引係数として捉え,崩壊開始時の臨界合成-実比を同定する。 第3に、当社の法と割引の制約付き最適化として予算割当を設定し、チンチラ方式の計算最適レシピを導出し、保留規模で検証した。 経験的な結果は、レシピに従うと、支配的な ‘scale-the-trajectories' のプラクティスよりも最大1.7\times$の計算効率が得られることを示している。

関連論文リスト

• Bridging Compute- and Data-Optimal Pretraining [18.911780119556663]
  本稿では,データと計算を自由にスケーリングする計算最適スケーリングと,コーパスが固定され,計算がバウンドなしで成長するデータ最適スケーリングをブリッジする統合フレームワークを提案する。 CDスケーリングは、派生したトークン生成の値を定量化するトークン効率関数$$を導入することによって、古典的なスケーリング法則を拡張する。
  論文  参考訳（メタデータ） (2026-07-28T04:18:49Z)
• Beyond Quantity: Trajectory Diversity Scaling for Code Agents [51.71414642763219]
  Trajectory Diversity Scalingは、コードエージェントのためのデータ合成フレームワークである。 TDScalingは、(1)実際のサービスの論理的依存関係をキャプチャするBusiness Clusterメカニズム、(2)軌道コヒーレンスを強制するブループリント駆動のマルチエージェントパラダイム、(3)ロングテールシナリオを指向する適応的な進化メカニズムの4つの革新を統合しています。
  論文  参考訳（メタデータ） (2026-02-03T07:43:03Z)
• Scaling Laws and In-Context Learning: A Unified Theoretical Framework [0.0]
  インコンテキスト学習(ICL)により、大規模な言語モデルでは、パラメータ更新なしでデモから新しいタスクに適応することができる。 変換器におけるスケーリング法則とICLの出現を結合する統一理論的枠組みを提案する。 ICLの性能はモデル深度$L$, 幅$d$, コンテキスト長$k$, トレーニングデータ$D$, タスク構造によって決定される指数に従うことを示す。
  論文  参考訳（メタデータ） (2025-11-09T05:19:14Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。