論文の概要: ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents
- arxiv url: http://arxiv.org/abs/2606.21262v1
- Date: Fri, 19 Jun 2026 09:38:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 06:55:19.811116
- Title: ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents
- Title（参考訳）: ARCO:多段LCM基剤の共進化型適応潤滑剤
- Authors: Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen,
- Abstract要約: ARCOは強化学習のための適応型ルーリックフレームワークである。
強い結果、ルーブリック、プロセス・リワードのベースラインよりも、すべての設定で最高のEMを改善する。
そのルーブリックは、ステップ特異的で、設計上の選択に対して堅牢であり、エージェントの挙動の診断に有用である。
- 参考スコア（独自算出の注目度）: 12.091072999307622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning for multi-step LLM agents often relies on scalar rewards that indicate success but cannot explain why a trajectory is good or bad. Rubric-based rewards improve interpretability through natural-language criteria, but existing methods score at the trajectory level and freeze the scorer behind a closed-source judge, leaving step-level credit assignment unresolved and the judge itself static. We propose ARCO (Adaptive Rubric CO-evolution), a rubric framework in which a same-scale model $μ$ shares a backbone with two heads: a generation head that produces per-step criteria, and a score head that predicts rubric-conditioned step-level rewards. A trajectory decomposition constraint ties the sum of step rewards to the terminal outcome, enabling credit assignment without step-level labels, while $μ$ and the policy $π$ are jointly updated on on-policy data so that the rubric content and the scoring function co-evolve at the parameter level. Across HotpotQA, 2WikiMultiHopQA, and MuSiQue with two open-source backbones, ARCO improves the best EM in every setting over strong outcome-, rubric-, and process-reward baselines, and analyses show that its rubrics are step-specific, robust to design choices, and useful for diagnosing agent behavior. Codes and data are available at https://github.com/zihangtian/ARCO.
- Abstract（参考訳）: 多段階LLMエージェントの強化学習は、しばしば成功を示すスカラー報酬に依存するが、なぜ軌道が良いか悪いかを説明できない。
ルーブリックベースの報酬は、自然言語の基準によって解釈性を向上させるが、既存の手法は軌道レベルでスコアし、クローズドソースの審査員の背後でスコアラーを凍結し、ステップレベルのクレジット割り当ては未解決のままであり、審査員自身は静的である。
我々は,同じスケールのモデルである$μ$が,ステップ単位の基準を生成する世代ヘッドと,ルーブリック条件のステップレベル報酬を予測するスコアヘッドという,バックボーンを2つのヘッドで共有するルーブリックフレームワークであるARCO(Adaptive Rubric CO-evolution)を提案する。
トラジェクトリ分解制約は、ステップ報酬の合計を端末結果に結び付け、ステップレベルラベルなしでクレジットの割り当てを可能にし、一方、$μ$とポリシー$π$は、パラメータレベルでルーリック内容とスコア関数が共進化するように、オン・ポリティクスデータで共同で更新される。
HotpotQA、2WikiMultiHopQA、MuSiQueには2つのオープンソースバックボーンがあり、ARCOは強力な結果-、ルーリック、プロセス-リワードベースラインに関するすべての設定において最高のEMを改善し、分析により、そのルーブリックがステップ固有であり、設計上の選択に対して堅牢であり、エージェントの振る舞いの診断に有用であることを示している。
コードとデータはhttps://github.com/zihangtian/ARCO.comで公開されている。
関連論文リスト
- When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning? [10.71573326176278]
我々は、結果レベルの監督からオフライン政策最適化の統計理論を開発する。
OPACは、報酬モデルを学び、軌道レベルのラベルからポリシーを最適化する悲観的なアクターアルゴリズムである。
一般化された結果に基づくオフラインRLについて検討し,各ステップ当たりの報酬の非線形集約によって誘導されるトラジェクトリレベルの量について検討した。
論文 参考訳（メタデータ） (2026-06-16T22:55:45Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。
StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。
より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
論文 参考訳（メタデータ） (2026-05-26T15:07:03Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳（メタデータ） (2026-05-11T03:15:37Z) - Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks [30.108876878365496]
強化学習(Reinforcement Learning, RL)は,大規模言語モデルと複雑なオープンドメイン命令を連携させる,有望なアプローチとして登場した。
既存の手法は主に応答レベルの報酬に依存しており、厳格な報酬の分散と報酬のあいまいさの問題を導入している。
粗い応答レベルスコアときめ細かいトークンレベルクレジット割り当てを橋渡しするルーブリックベースの新しいRLフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T07:02:57Z) - SQL-ASTRA: Alleviating Sparse Feedback in Agentic SQL via Column-Set Matching and Trajectory Aggregation [51.696027315573296]
本稿では,効率的な軌道レベル評価と高密度ステップレベル信号の提供を目的とした,普遍的な2層報酬機構を特徴とするフレームワークを提案する。
伝統的なパラダイムでは、報酬は最終ターンのフィードバックによってのみ決定され、中間プロセスを無視し、曖昧な信用評価をもたらす。
提案手法は,同一モデルを用いてBIRD 2.0上でのSOTA Arctic-Text2-R1-7Bより優れており,頑健なマルチターンエージェントのパラダイムに向けてテキストから逆収束を推進していることを示す。
論文 参考訳（メタデータ） (2026-03-17T06:26:36Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。
Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。
Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
論文 参考訳（メタデータ） (2025-05-29T11:40:34Z) - Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。
本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。
本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
論文 参考訳（メタデータ） (2025-02-07T12:07:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。