論文の概要: RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2605.10899v1
• Date: Mon, 11 May 2026 17:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:51.042821
• Title: RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
• Title（参考訳）: RubricEM: 検証可能なリワードを超えて、Rubric-Guided Policy Decompositionを備えたメタRL
• Authors: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister,
• Abstract要約: 長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。 本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。 我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
• 参考スコア（独自算出の注目度）: 76.17893114021757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep research agents, namely systems that plan, search, evaluate evidence, and synthesize long-form reports, pushes reinforcement learning beyond the regime of verifiable rewards. Their outputs lack ground-truth answers, their trajectories span many tool-augmented decisions, and standard post-training offers little mechanism for turning past attempts into reusable experience. In this work, we argue that rubrics should serve not merely as final-answer evaluators, but as the shared interface that structures policy execution, judge feedback, and agent memory. Based on this view, we introduce RubricEM, a rubric-guided reinforcement learning framework that combines stagewise policy decomposition with reflection-based meta-policy evolution. RubricEM first makes research trajectories stage-aware by conditioning planning, evidence gathering, review, and synthesis on self-generated rubrics. It then assigns credit with Stage-Structured GRPO, which uses stagewise rubric judgments to provide denser semantic feedback for long-horizon optimization. In parallel, RubricEM trains a shared-backbone reflection meta-policy that distills judged trajectories into reusable rubric-grounded guidance for future attempts. The resulting RubricEM-8B achieves strong performance across four long-form research benchmarks, outperforming comparable open models and approaching proprietary deep-research systems. Beyond final performance, we perform thorough analyses to understand the key ingredients of RubricEM.
• Abstract（参考訳）: ディープリサーチエージェント、すなわち、計画し、調査し、証拠を評価し、長期にわたる報告を合成するシステムは、検証可能な報酬の体制を超えて強化学習を推進している。 アウトプットには根本からの回答が欠けており、その軌道は多くのツール拡張された決定にまたがっており、標準のポストトレーニングは過去の試みを再利用可能な体験に変えるためのメカニズムをほとんど提供しない。 本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。 この観点から、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーブリック誘導強化学習フレームワークであるRubricEMを紹介する。 RubricEMはまず、自己生成した潤滑剤について、計画、証拠収集、レビュー、合成を条件付けることで、ステージアウェアの研究を行う。 次に、ステージ構造GRPO(Stage-Structured GRPO)にクレジットを割り当てる。 並行して、RubricEMは共有バックボーンリフレクションメタ政治を訓練し、将来の試みのために再利用可能なルーリックグラウンドガイダンスに判断された軌跡を蒸留する。 RubricEM-8Bは、4つの長期研究ベンチマークで強力な性能を達成し、同等のオープンモデルより優れ、プロプライエタリなディープリサーチシステムに近づいた。 最終性能の他に、RubricEMの重要な要素を理解するために、徹底的な分析を行う。

関連論文リスト

• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• Chained Prompting for Better Systematic Review Search Strategies [0.6633201258809686]
  本稿では,システムレビューにおいて,検索戦略の自動開発のための大規模言語モデルに基づく連鎖型プロンプトエンジニアリングフレームワークを提案する。 このフレームワークは、手動検索設計の手続き的構造を再現し、LLMを活用して、レビュー対象を分解し、PICO要素を抽出し、概念表現を生成し、用語を拡張し、クエリを合成する。
  論文  参考訳（メタデータ） (2025-11-28T12:12:38Z)
• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning [3.6333725470852443]
  我々は,モンテカルロ木探索を緩和して,嗜好に基づく強化学習における政策最適化を改善する方法について検討する。 本稿では,部分的に明らかにされたMCTSロールアウトから完成度を導出するGRPOトレーニングパラダイムを提案する。 最初の結果は、構造化された利点推定は推論品質を安定させ、より良く反映できるが、利点飽和や報奨信号の崩壊といった課題は残ることを示唆している。
  論文  参考訳（メタデータ） (2025-09-11T09:18:07Z)
• STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
  我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。 我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。 MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-08-26T08:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。