論文の概要: RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2605.10899v1
- Date: Mon, 11 May 2026 17:40:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:51.042821
- Title: RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
- Title（参考訳）: RubricEM: 検証可能なリワードを超えて、Rubric-Guided Policy Decompositionを備えたメタRL
- Abstract要約: 長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。
本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。
我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
- 参考スコア（独自算出の注目度）: 76.17893114021757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training deep research agents, namely systems that plan, search, evaluate evidence, and synthesize long-form reports, pushes reinforcement learning beyond the regime of verifiable rewards. Their outputs lack ground-truth answers, their trajectories span many tool-augmented decisions, and standard post-training offers little mechanism for turning past attempts into reusable experience. In this work, we argue that rubrics should serve not merely as final-answer evaluators, but as the shared interface that structures policy execution, judge feedback, and agent memory. Based on this view, we introduce RubricEM, a rubric-guided reinforcement learning framework that combines stagewise policy decomposition with reflection-based meta-policy evolution. RubricEM first makes research trajectories stage-aware by conditioning planning, evidence gathering, review, and synthesis on self-generated rubrics. It then assigns credit with Stage-Structured GRPO, which uses stagewise rubric judgments to provide denser semantic feedback for long-horizon optimization. In parallel, RubricEM trains a shared-backbone reflection meta-policy that distills judged trajectories into reusable rubric-grounded guidance for future attempts. The resulting RubricEM-8B achieves strong performance across four long-form research benchmarks, outperforming comparable open models and approaching proprietary deep-research systems. Beyond final performance, we perform thorough analyses to understand the key ingredients of RubricEM.
- Abstract（参考訳）: ディープリサーチエージェント、すなわち、計画し、調査し、証拠を評価し、長期にわたる報告を合成するシステムは、検証可能な報酬の体制を超えて強化学習を推進している。
アウトプットには根本からの回答が欠けており、その軌道は多くのツール拡張された決定にまたがっており、標準のポストトレーニングは過去の試みを再利用可能な体験に変えるためのメカニズムをほとんど提供しない。
本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。
この観点から、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーブリック誘導強化学習フレームワークであるRubricEMを紹介する。
RubricEMはまず、自己生成した潤滑剤について、計画、証拠収集、レビュー、合成を条件付けることで、ステージアウェアの研究を行う。
次に、ステージ構造GRPO(Stage-Structured GRPO)にクレジットを割り当てる。
並行して、RubricEMは共有バックボーンリフレクションメタ政治を訓練し、将来の試みのために再利用可能なルーリックグラウンドガイダンスに判断された軌跡を蒸留する。
RubricEM-8Bは、4つの長期研究ベンチマークで強力な性能を達成し、同等のオープンモデルより優れ、プロプライエタリなディープリサーチシステムに近づいた。
最終性能の他に、RubricEMの重要な要素を理解するために、徹底的な分析を行う。
関連論文リスト
- EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning [25.200068256200293]
インタラクショントラジェクトリに埋め込まれた再利用可能な探索パターンは、単一のポリシー更新後に大部分が破棄される。
本研究では,検索した経験を仮訓練時の足場として扱うフレームワークであるEDGE(Experience-Distillation for Guided Exploration)を提案する。
EDGEは強力なRLベースラインを最大12.5ポイント改善し、推論時の足場やプロプライエタリなリフレクタを使わずに有効である。
論文 参考訳（メタデータ） (2026-08-22T13:16:25Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - Beyond Classification: Dynamic Adapter Routing for Continual Multimodal Retrieval [16.629210107453464]
本稿では,多様な視覚領域にまたがる連続的マルチモーダル検索(CMR)の原理的評価フレームワークを提案する。
私たちの経験的分析は、標準のCILメソッドがより困難なシナリオにおいて有意義な利得を得られていないことを示している。
本稿では,プロトタイプベースのルーティングによって選択され,モデルマージによって結合されたアダプタに基づく新しいアプローチである動的ルーティングアダプタ(DAR)を提案する。
論文 参考訳（メタデータ） (2026-05-29T12:32:59Z) - Co-ReAct: Rubrics as Step-Level Collaborators for ReAct Agents [6.89645931986174]
本稿では,ルーリック誘導型行動選択フレームワークCo-ReActを紹介する。
各決定ステップにおいて、Co-ReActはエージェントのコンテキストにルーブリックを注入し、次のReason-or-Act決定を導く。
我々は、GRPOで専用のルーリック発電機を訓練し、このガイダンスを信頼性の高いものにする。
論文 参考訳（メタデータ） (2026-05-22T12:59:16Z) - Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems [55.04168927059962]
推論集約的な検索は、単にトピックの類似性に一致するのではなく、下流の推論を支持する証拠を明らかにすることを目的としている。
BRIGHT-Proは、専門家による注釈付きベンチマークで、各クエリを複数アスペクトのゴールドエビデンスで拡張する。
また,相補的な正と正条件の強陰性を生成するアスペクト分解型合成コーパスであるRTriever-Synthを構築した。
論文 参考訳（メタデータ） (2026-05-05T17:42:50Z) - CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。
この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
論文 参考訳（メタデータ） (2026-04-19T17:48:17Z) - Chained Prompting for Better Systematic Review Search Strategies [0.6633201258809686]
本稿では,システムレビューにおいて,検索戦略の自動開発のための大規模言語モデルに基づく連鎖型プロンプトエンジニアリングフレームワークを提案する。
このフレームワークは、手動検索設計の手続き的構造を再現し、LLMを活用して、レビュー対象を分解し、PICO要素を抽出し、概念表現を生成し、用語を拡張し、クエリを合成する。
論文 参考訳（メタデータ） (2025-11-28T12:12:38Z) - Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。
近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。
提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
論文 参考訳（メタデータ） (2025-11-12T08:29:39Z) - Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning [3.6333725470852443]
我々は,モンテカルロ木探索を緩和して,嗜好に基づく強化学習における政策最適化を改善する方法について検討する。
本稿では,部分的に明らかにされたMCTSロールアウトから完成度を導出するGRPOトレーニングパラダイムを提案する。
最初の結果は、構造化された利点推定は推論品質を安定させ、より良く反映できるが、利点飽和や報奨信号の崩壊といった課題は残ることを示唆している。
論文 参考訳（メタデータ） (2025-09-11T09:18:07Z) - STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。
我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。
MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-08-26T08:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。