論文の概要: Co-Evolving Policy and Rubric via Capability Awareness for Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2610.38566v1
• Date: Wed, 28 Oct 2026 10:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.98401
• Title: Co-Evolving Policy and Rubric via Capability Awareness for Open-Ended Generation
• Title（参考訳）: オープンエンディングジェネレーションの能力認識による共進化政策とルーブリック
• Abstract要約: CoCAは、基準レベルの診断を通じてルーブリックとポリシーを適応するフレームワークである。 CoCAは、ルーリックベースのメソッドよりも一貫してパフォーマンスを改善している。
• 参考スコア（独自算出の注目度）: 52.000019047869415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based reinforcement learning (RL) offers interpretable, fine-grained supervision for aligning large language models (LLMs) on open-ended generation tasks. However, static rubric criteria may become saturated or remain beyond the policy's exploration, rendering the reward signals insufficiently discriminative. While recent efforts seek to guide sampling exploration or evolve rubrics, they fail to explicitly factor in how rubric difficulty should track the evolving policy's capabilities, resulting in a persistent mismatch between the optimization objective and the policy's current capability frontier. In this paper, we propose \textbf{Co}-Evolving Policy and Rubric via \textbf{C}apability \textbf{A}wareness (\textbf{CoCA}), a closed-loop framework that jointly adapts the rubric and policy through criterion-level diagnosis. Specifically, CoCA contrasts query-only and rubric-guided rollouts to characterize each criterion relative to the current policy, recalibrates criteria with mismatched difficulty, and identifies guidance-revealed capability gaps for frontier-based learning. Based on this insight, CoCA either expands rubric-conditioned frontiers through guided optimization or transfers qualified gains through on-policy self-distillation. As the policy updates, CoCA improves the capability diagnosis and enables more reliable distillation, thereby completing the co-evolution loop. Extensive experiments across diverse benchmarks and LLMs demonstrate that CoCA consistently improves performance over rubric-based RL methods. Moreover, CoCA promotes the internalization of guidance-revealed capabilities into query-only behavior while mitigating capability degradation.
• Abstract（参考訳）: ルーブリックベース強化学習(RL)は、大規模言語モデル(LLM)をオープンな生成タスクで調整するための、解釈可能な、きめ細かな監督を提供する。 しかし、静的なルーリックな基準は飽和するか、政策の探究の域外にとどまり、報酬信号が十分に識別できない。 最近の試みでは、サンプリングのガイドやルーブリックの進化を図っているが、どのようにルーブリックの難しさが進化する政策の能力を追跡するべきかを明確に決定できないため、最適化目標と政策の現在の能力フロンティアとの間には、永続的なミスマッチが生じている。 本稿では, クローズドループフレームワークである \textbf{C}apability \textbf{A}wareness (\textbf{CoCA}) を用いて, ルールレベルの診断により, ルーブリックとポリシーを協調的に適応する。 特に、CoCAはクエリのみのロールアウトとルーリック誘導のロールアウトを対比し、現在のポリシーに対するそれぞれの基準を特徴付け、不一致の難易度で基準を再検討し、フロンティアベースの学習のためのガイダンス参照能力ギャップを識別する。 この知見に基づいて、CoCAは、ガイド付き最適化を通じてルーリック条件のフロンティアを拡張したり、オン・ポリティックな自己蒸留を通じて適格な利得を転送する。 ポリシーが更新されるにつれて、CoCAは能力診断を改善し、より信頼性の高い蒸留を可能にし、共進化ループを完了させる。 多様なベンチマークとLLMの広範な実験により、COCAはルーリックベースのRL法よりも一貫して性能を改善していることが示された。 さらに、CoCAは、ガイダンスに基づく機能の内部化をクエリのみの動作に促進し、能力劣化を緩和する。

関連論文リスト

• Reward-Adaptive Co-Evolution of Policy and Rubric [3.3504892038235496]
  本稿では,Reward-collapse Co-EvolutionフレームワークであるRASを紹介する。 グループレベルでは、ロールアウトグループごとの訓練信号ルーティングは、グループを情報的、多様性に富んだ、オリミド、または失敗に分類する。 RACEは高い平均性能を達成し、8つのタスクにおいて最強の固定交替ベースラインを上回り、ルーリック識別を改善している。
  論文  参考訳（メタデータ） (2026-10-29T14:00:07Z)
• When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning [20.292025417490738]
  我々は,難題に関する有用な学習信号が,現在の政策と十分に適合しているかどうかを検証し,検証しなくてはならないと論じる。 本稿では,分散制約付き共同復号を行うPICO(Policy-Reinforcement Learning)を提案する。 PICOは、標準のRLVRと以前のオフ政治ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-10-27T08:47:35Z)
• RubricOpt: Self-Revision of Semantic Rubrics for Preference Optimization [21.21703214292865]
  我々は、優先順位最適化における行動基準をポリシーが修正するフレームワークであるOptを紹介した。 共有セマンティック表現は、タスク要求、嗜好データコントラスト、ルーリック節を結合する。 実験により, ルーブリックコンディショニングは通常のDPOよりも良好な結果が得られることが示された。
  論文  参考訳（メタデータ） (2026-10-21T09:46:37Z)
• PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization [2.670322123407994]
  PPO-HSCは、LLM(Large Language Model)ファインチューニングにおけるモード崩壊の「見えないシャクルス」に対処する。 これは「低相似だが高相似性」推論パターンの発見を動機付ける高次サンプリングカバレッジ報酬を取り入れている。 これは、最先端のRLベースラインの正確さと構文の整合性を維持したり、超えたりしながら、ソリューションの多様性と状態空間のカバレッジを大幅に向上させる。
  論文  参考訳（メタデータ） (2026-05-08T12:29:23Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• A Mathematical Framework for AI Singularity: Conditions, Bounds, and Control of Recursive Improvement [1.932555230783329]
  我々は、自己改善のための分析フレームワークを開発し、能力向上とリソースのビルトアウトとデプロイメントポリシを結びつける。 我々は、可観測級数から脱走と非特異な振る舞いの証明をYes/Noにマッピングする決定ルールを導出する。 このフレームワークは、現在のレベルに対して、高速な改善がいかに加速するかに基づいて、偽造可能なテストを生成する。
  論文  参考訳（メタデータ） (2025-11-08T21:25:38Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Hallucinated Adversarial Control for Conservative Offline Policy Evaluation [64.94009515033984]
  本研究では,環境相互作用のオフラインデータセットが与えられた場合,政策のパフォーマンスを低く抑えることを目的とした,保守的非政治評価(COPE)の課題について検討する。 本稿では,遷移力学の不確実性を考慮した学習モデルに基づくHAMBOを紹介する。 結果のCOPE推定値が妥当な下界であることを証明し、正則性条件下では、真に期待された戻り値への収束を示す。
  論文  参考訳（メタデータ） (2023-03-02T08:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。