論文の概要: Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents

• arxiv url: http://arxiv.org/abs/2510.06214v1
• Date: Tue, 07 Oct 2025 17:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.415995
• Title: Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents
• Title（参考訳）: 階層型GRPO:LLM検索エージェントの強化学習における構造的不均一性処理
• Authors: Mingkang Zhu, Xi Chen, Bei Yu, Hengshuang Zhao, Jiaya Jia,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、複雑なマルチステップ問題を解決するために、検索エンジンのような外部ツールに依存している。 サーチエージェントの軌道は構造的に不均一であり、サーチコールの数、配置、結果の変動は、根本的に異なる応答方向と報酬分布をもたらす。 1つのグローバルベースラインを使用する標準方針勾配法は、私たちが認識し、層間バイアスとして定式化するものに苦しむ。 本稿では,SAN (Stratified Advantage Normalization) の中心成分であるStratified GRPOを提案する。
• 参考スコア（独自算出の注目度）: 90.45197506653341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents increasingly rely on external tools such as search engines to solve complex, multi-step problems, and reinforcement learning (RL) has become a key paradigm for training them. However, the trajectories of search agents are structurally heterogeneous, where variations in the number, placement, and outcomes of search calls lead to fundamentally different answer directions and reward distributions. Standard policy gradient methods, which use a single global baseline, suffer from what we identify and formalize as cross-stratum bias-an "apples-to-oranges" comparison of heterogeneous trajectories. This cross-stratum bias distorts credit assignment and hinders exploration of complex, multi-step search strategies. To address this, we propose Stratified GRPO, whose central component, Stratified Advantage Normalization (SAN), partitions trajectories into homogeneous strata based on their structural properties and computes advantages locally within each stratum. This ensures that trajectories are evaluated only against their true peers. Our analysis proves that SAN eliminates cross-stratum bias, yields conditionally unbiased unit-variance estimates inside each stratum, and retains the global unbiasedness and unit-variance properties enjoyed by standard normalization, resulting in a more pure and scale-stable learning signal. To improve practical stability under finite-sample regimes, we further linearly blend SAN with the global estimator. Extensive experiments on diverse single-hop and multi-hop question-answering benchmarks demonstrate that Stratified GRPO consistently and substantially outperforms GRPO by up to 11.3 points, achieving higher training rewards, greater training stability, and more effective search policies. These results establish stratification as a principled remedy for structural heterogeneity in RL for LLM search agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、複雑で多段階の問題を解決するために、検索エンジンのような外部ツールにますます依存し、強化学習(RL)はそれらを訓練するための重要なパラダイムとなっている。 しかし、サーチエージェントの軌道は構造的に不均一であり、サーチコールの数、配置、結果の変動は、根本的に異なる応答方向と報酬分布をもたらす。 単一グローバルベースラインを使用する標準方針勾配法は、異種軌道のクロスストラタムバイアスと「アプルズ・トゥ・レンジ」の比較を形式化したものである。 この層間バイアスは、クレジットの割り当てを歪め、複雑な多段階探索戦略の探索を妨げる。 そこで本研究では,SAN (Stratified Advantage Normalization) の中心成分であるStratified GRPOを提案する。 これにより、軌道は真の仲間に対してのみ評価される。 解析により,SANは層間バイアスを排除し,各層内における条件付き非バイアス単位分散推定値を出力し,標準正規化による大域的非バイアス性および単位分散特性を保持し,より純粋でスケール安定な学習信号をもたらすことが示された。 有限サンプル状態下での実用的安定性を改善するために,SANと大域的推定器を線形に混合する。 多様なシングルホップおよびマルチホップ質問答えベンチマークに関する広範な実験により、ストラテファイドGRPOはGRPOを最大11.3ポイント上回り、より高いトレーニング報酬、より高いトレーニング安定性、より効果的な検索ポリシーを達成している。 これらの結果は、LLM探索剤のRLにおける構造的不均一性に対する原則的対策として成層化を確立した。

関連論文リスト

• Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends [64.71326476563213]
  大規模言語モデル(LLM)の非政治強化学習が注目されている。 本稿では,特定のトレーニングデータ分布を仮定することなく,グループ化型REINFORCEの第一原理導出について述べる。 この観点は、REINFORCEを非政治的な設定に適応するための2つの一般的な原則をもたらす。
  論文  参考訳（メタデータ） (2025-09-29T02:34:54Z)
• GEPO: Group Expectation Policy Optimization for Stable Heterogeneous Reinforcement Learning [43.46954951944727]
  パラメータ学習とロールアウトサンプリングのプロセスを分離した異種RLアーキテクチャであるHeteroRLを提案する。 コアコンポーネントは、レイテンシに堅牢な非同期RLアルゴリズムであるグループ期待ポリシー最適化(GEPO)である。 実験の結果、GEPOはより優れた安定性を実現しており、オンラインから1800年代までのパフォーマンス低下はわずか3%である。
  論文  参考訳（メタデータ） (2025-08-25T09:57:35Z)
• RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [86.30192066451256]
  大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。 RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。 提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
  論文  参考訳（メタデータ） (2025-07-31T23:55:29Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• DISCO Balances the Scales: Adaptive Domain- and Difficulty-Aware Reinforcement Learning on Imbalanced Data [65.09939942413651]
  本稿では,グループ間不均衡と2つの重要なイノベーションに対処するGRPOの原理的拡張を提案する。 ドメイン対応報酬スケーリングは、ドメインの頻度に基づいて最適化を再重み付けすることで周波数バイアスに対処する。 難解な報酬のスケーリングは、学習価値を提供する不確実なプロンプトを特定し、優先順位付けするために、プロンプトレベルの自己整合性を活用する。
  論文  参考訳（メタデータ） (2025-05-21T03:43:29Z)
• Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO [22.00487909203855]
  グループ相対ポリシー最適化は、グループ内のすべてのレスポンスが正しくない場合にポリシーを更新できない。 この制限は、人工知能と人間の知性の間に重要なギャップを浮き彫りにする。 グループ内に応答の多様性を取り入れることで、全負のサンプル問題を緩和するシンプルなフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-16T18:02:05Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• G$^2$DA: Geometry-Guided Dual-Alignment Learning for RGB-Infrared Person Re-Identification [3.909938091041451]
  RGB-IRの人物再識別は、異種間の興味のある人物を検索することを目的としている。 本稿では,サンプルレベルのモダリティ差に対処するための幾何誘導デュアルアライメント学習フレームワーク(G$2$DA)を提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。