論文の概要: BIRD-RL: Scaling Agentic Reinforcement Learning over Stateful Data-Centric Environments

• arxiv url: http://arxiv.org/abs/2610.29426v1
• Date: Wed, 21 Oct 2026 08:50:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.295233
• Title: BIRD-RL: Scaling Agentic Reinforcement Learning over Stateful Data-Centric Environments
• Title（参考訳）: BIRD-RL: ステートフルデータ中心環境におけるエージェント強化学習のスケーリング
• Abstract要約: BIRD-RLは、4段階のエージェントRLカリキュラムである。 Persistent Trajectory-scoped Space Infrastructureは、トラジェクトリ分離を保ちながら、安全なデータベース複製を可能にする。
• 参考スコア（独自算出の注目度）: 23.2563802194383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While agentic reinforcement learning (RL) has emerged as a promising paradigm for training small language models (SLMs), existing frameworks are predominantly tool-centric and struggle with data-centric environments. Specifically, applying tool-centric frameworks to stateful tasks like SQL debugging introduces severe spatial inefficiencies since proper environment isolation typically requires a separate database container per rollout. Naively reusing databases without tracking evolving states across multi-turn interactions causes trajectory contamination and cross-trajectory interference, which severely destabilizes policy updates. To overcome these bottlenecks, we introduce BIRD-RL, a novel four-stage agentic RL curriculum that alternately enhances foundational agent reasoning and trajectory-adaptive on-policy exploration to circumvent the instability inherently associated with direct end-to-end learning. Crucially, to support this curriculum, BIRD-RL is driven by a Trajectory-scoped Persistent Execution Infrastructure, which enables safe database replica reuse while preserving trajectory isolation. This design improves spatial RL efficiency by 12.8x, successfully enabling scalable agentic RL for complex data-centric tasks without needs of Kubernettes. Empirical evaluations on the BIRD-CRITIC-SQLite benchmark demonstrate that our 7B and 14B models achieve Success Rates of 44.40% and 48.00%, respectively, showing competitive performance against strong proprietary model-based agents such as Claude-Opus-4.6 Agent (48.20%). Furthermore, BIRD-RL successfully trains unified SLMs capable of both advanced SQL debugging and generation, highlighting its broader potential for multi-objective optimization across heterogeneous, real-world data-centric tasks.
• Abstract（参考訳）: エージェント強化学習(RL)は、小型言語モデル(SLM)をトレーニングするための有望なパラダイムとして登場したが、既存のフレームワークは主にツール中心であり、データ中心の環境と闘っている。 特に、SQLデバッグのようなステートフルなタスクにツール中心のフレームワークを適用すると、適切な環境分離が通常ロールアウト毎に別々のデータベースコンテナを必要とするため、深刻な空間的非効率が発生します。 マルチターン相互作用における進化状態の追跡を行なわずにデータベースを過度に再利用することは、トラジェクトリ汚染とトラジェクトリ干渉を引き起こし、ポリシー更新を著しく不安定にする。 これらのボトルネックを克服するため、BIRD-RLは、4段階のエージェントRLカリキュラムであり、直接エンドツーエンド学習に固有の不安定性を回避するために、基礎的エージェント推論と軌道適応型オン・ポリティクスの探索を交互に強化する。 このカリキュラムをサポートするために,BIRD-RL は Trajectory-scoped Persistent Execution Infrastructure によって駆動される。 この設計は空間的RL効率を12.8倍改善し、Kubernettesを必要とせずに複雑なデータ中心のタスクに対してスケーラブルなエージェントRLを実現した。 BIRD-CRITIC-SQLiteベンチマークの実証評価では、我々の7Bモデルと14Bモデルはそれぞれ44.40%と48.00%の成功率を示し、Claude-Opus-4.6 Agent (48.20%)のような強力なプロプライエタリなモデルベースエージェントと競合する性能を示した。 さらに、BIRD-RLは、先進的なSQLデバッグと生成の両方が可能な統一SLMのトレーニングに成功した。

関連論文リスト

• Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning [47.00572734047258]
  本稿では,非同期RLの安定性と非政治的課題に対処するため,単一ロールアウト非同期最適化(SAO)を提案する。 SAOはグループワイドサンプリングを単一ロールアウトサンプリングに置き換える。 SAOは、オープンなGLM-5.2モデルをトレーニングするために、エージェントRLパイプラインにうまくデプロイされる。
  論文  参考訳（メタデータ） (2026-07-08T15:02:19Z)
• RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases [49.47033473074821]
  RDBのための多面的自己教師型学習フレームワークであるRelPrismを提案する。 RDBタスクは、しばしば異なる視点と粒度の多面的な情報を必要とする。 以上の結果から,RelPrismはROC-AUCを4.15%改善し,MAEを10.75%削減した。
  論文  参考訳（メタデータ） (2026-05-22T05:19:58Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• Relational Database Distillation: From Structured Tables to Condensed Graph Data [48.347717300340435]
  グラフベースモデルに必要な電力を維持しつつ,大規模RDBをコンパクトなヘテロジニアスグラフに蒸留することを目的としている。 さらに、擬似ラベルを用いてカーネルリッジ回帰誘導目標を設計し、蒸留グラフの品質特性を創出する。
  論文  参考訳（メタデータ） (2025-10-08T13:05:31Z)
• Hybrid Cross-domain Robust Reinforcement Learning [26.850955692805186]
  ロバスト強化学習(RL)は、環境に不確実性があるにもかかわらず効果的な政策を学ぶことを目的としている。 本稿では,Hybrid Cross-Domain Robust RLフレームワークであるHYDROを紹介する。 不確実性セットにおけるシミュレータと最悪のモデルのパフォーマンスギャップを計測し、最小化することにより、HYDROは、新しい不確実性フィルタリングと優先順位付けサンプリングを採用し、最も重要で信頼性の高いシミュレータサンプルを選択する。
  論文  参考訳（メタデータ） (2025-05-29T02:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。