論文の概要: CuSearch: Curriculum Rollout Sampling via Search Depth for Agentic RAG

• arxiv url: http://arxiv.org/abs/2605.11611v1
• Date: Tue, 12 May 2026 06:42:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.636849
• Title: CuSearch: Curriculum Rollout Sampling via Search Depth for Agentic RAG
• Title（参考訳）: CuSearch: エージェントRAGの検索深さによるカリキュラムロールアウトサンプリング
• Authors: Jianghan Shen, Siqi Luo, Xinyu Cheng, Jing Xiong, Yue Li, Jiyao Liu, Jiashi Lin, Yirong Chen, Junjun He,
• Abstract要約: CuSearchは、Search-Depth Greedy Allocation上に構築されたカリキュラムのロールアウトサンプリングフレームワークである。 我々は、ZeroSearch上の標準GRPOよりも最大11.8の正確なマッチングポイントを達成することで、CuSearchが継続的にパフォーマンスを改善していることを示す。 これらの結果は、RLVRベースのエージェントRAGトレーニングにおける検索監督密度の信頼性、アノテーションなしプロキシとして、軌跡ごとの探索深度を確立した。
• 参考スコア（独自算出の注目度）: 18.557095117884472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a promising paradigm for training agentic retrieval-augmented generation (RAG) systems from outcome-only supervision. Most existing methods optimize policies from uniformly sampled rollouts, implicitly treating all trajectories as equally informative. However, trajectories differ substantially in search depth and are therefore not equally informative: deeper-search trajectories contain more retrieval decision points and provide denser direct supervision for the retrieval sub-policy. Moreover, this heterogeneity grows over training as the within-batch depth distribution shifts toward higher values, yet uniform rollout sampling remains blind to this shift. To address this, we propose CuSearch, a curriculum rollout sampling framework built on Search-Depth Greedy Allocation (SDGA), a batch-level operator that reallocates a fixed update budget toward deeper-search trajectories. SDGA-Auto always targets the deepest available trajectories in the current batch, yielding an implicit training-aligned curriculum as the depth distribution shifts upward. SDGA-Phase explicitly advances the curriculum threshold as deeper trajectories become sufficiently abundant. Experiments across model types and retrieval frameworks show that CuSearch consistently improves performance, achieving up to 11.8 exact-match points over standard GRPO on ZeroSearch. These results establish per-trajectory search depth as a reliable, annotation-free proxy for retrieval supervision density in RLVR-based agentic RAG training. The code is available at https://github.com/MrToser/CuSearch.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、エージェント検索強化世代(RAG)システムを結果のみの監視からトレーニングするための、有望なパラダイムとして登場した。 既存のほとんどの方法は、一様にサンプリングされたロールアウトからポリシーを最適化し、すべての軌跡を均等に情報的として暗黙的に扱う。 しかし、トラジェクトリは探索深度で大きく異なり、したがって等しく情報的ではない:ディープ・サーチ・トラジェクトリは、より多くの検索決定ポイントを含み、検索サブ政治に対するより密集した直接監督を提供する。 さらに、この不均一性は、バッチ内深さ分布がより高い値にシフトするにつれてトレーニングによって増大するが、均一なロールアウトサンプリングはこのシフトに盲目のままである。 そこで本研究では, バッチレベルの演算子である Search-Depth Greedy Allocation (SDGA) 上に構築されたカリキュラムのロールアウトサンプリングフレームワークであるCuSearch を提案する。 SDGA-Autoは、常に現在のバッチで利用可能な最も深い軌道を目標としており、深度分布が上向きに変化するにつれて、暗黙のトレーニングと整合したカリキュラムを生み出している。 SDGA-Phaseは、深い軌道が十分に満たされるにつれて、カリキュラムのしきい値が明示的に向上する。 モデルタイプと検索フレームワーク間の実験により、CuSearchは一貫してパフォーマンスを改善し、ZeroSearchの標準GRPOよりも最大11.8の正確なマッチポイントを達成した。 これらの結果は、RLVRベースのエージェントRAGトレーニングにおける検索監督密度の信頼性、アノテーションなしプロキシとして、軌跡ごとの探索深度を確立する。 コードはhttps://github.com/MrToser/CuSearch.comで入手できる。

関連論文リスト

• OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents [50.79529228477821]
  エージェント強化学習を用いたフロンティアマルチモーダルディープサーチエージェントの完全オープンソースレシピであるOpenSearch-VLを紹介した。 まず、ウィキペディアパスのサンプリング、ファジィエンティティの書き換え、ソース・アンカーの視覚的グラウンドリングを通じて、高品質なトレーニングデータを構築するための専用パイプラインをキュレートした。 さらに,テキスト検索,画像検索,OCR,収穫,研削,超解像,視点補正を統一する多様なツール環境を設計する。
  論文  参考訳（メタデータ） (2026-05-06T17:50:38Z)
• IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning [8.584560411480647]
  我々は、情報ゲイン(IG)に基づくステップレベルの報酬を導入する強化学習フレームワークIG-Searchを提案する。 検索ステップ毎に、IGは、検索した文書が、ランダム文書の反実的ベースラインに対して、ゴールド回答に対するモデルの信頼性をどれだけ向上するかを測定する。 実験の結果、IG-SearchはQwen2.5-3Bで平均0.430のEMを達成し、最も高い軌道レベルのベースライン(MR-Search)を1.6ポイント上回った。
  論文  参考訳（メタデータ） (2026-04-16T15:22:47Z)
• Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
  Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。 CCSは教師付きベースラインに匹敵する性能を示す。 これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-14T17:00:18Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• Hybrid Belief Reinforcement Learning for Efficient Coordinated Spatial Exploration [3.0222726254970174]
  純粋なモデルに基づくアプローチは、構造化された不確実性推定を提供するが、適応的なポリシー学習を欠いている。 本稿では,このギャップに対処するためのハイブリッドな信念強化学習フレームワークを提案する。 その結果、累積報酬は10.8%上昇し、ベースラインよりも38%早く収束した。
  論文  参考訳（メタデータ） (2026-03-04T00:00:34Z)
• SRR-Judge: Step-Level Rating and Refinement for Enhancing Search-Integrated Reasoning in Search Agents [30.92763154920672]
  SRR-Judgeは、推論と探索行動の信頼性の高い段階評価のためのフレームワークである。 SRR-Judgeは、探索積分推論のためのきめ細かいガイダンスを提供し、効率的な後トレーニングアノテーションを可能にする。 SRR-Judgeは、DeepSeek-V3.1のようなより大きなモデルよりも信頼性の高いステップレベルの評価を提供する。
  論文  参考訳（メタデータ） (2026-02-08T02:07:41Z)
• RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
  Re-TRACはクロス軌道探索を行うエージェントフレームワークである。 Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:58:07Z)
• DeepSearch: Overcome the Bottleneck of Reinforcement Learning with Verifiable Rewards via Monte Carlo Tree Search [53.27052683356095]
  我々はモンテカルロ木探索を直接RLVRトレーニングに統合するフレームワークであるDeepSearchを紹介する。 推論時にのみツリー検索に依存する既存のメソッドとは対照的に、DeepSearchは構造化された検索をトレーニングループに埋め込む。 コントリビューションには,(1)検索ツリー全体にわたって有望なノードを優先するグローバルフロンティア選択戦略,(2)監督のための確実なパスを識別するエントロピーベースのガイダンスによる選択,(3)効率的なソリューションキャッシングによる適応的リプレイバッファトレーニングなどが含まれている。
  論文  参考訳（メタデータ） (2025-09-29T20:00:29Z)
• ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
  テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。 木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。 本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。