論文の概要: EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation
- arxiv url: http://arxiv.org/abs/2605.29847v1
- Date: Thu, 28 May 2026 12:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.234019
- Title: EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation
- Title（参考訳）: EvoRubric: オープンエンドジェネレーションのための自己進化型ルーブリック駆動型RL
- Authors: Xin Guan, Xiaomeng Hu, Shen Huang, Zhenyi Wang, Bo Zhang, Zijian Li, Pengjun Xie, Bo Liu, Jiuxin Cao,
- Abstract要約: EvoRubricは、独創的な共進化型強化学習フレームワークである。
静的な基準や外部のルーリックジェネレータへの依存をなくす。
従来の静的および外部LLM駆動アライメントメソッドよりも一貫して優れています。
- 参考スコア（独自算出の注目度）: 42.93367895323788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning (RL) has significantly advanced Large Language Models (LLMs) in verifiable domains, but aligning models for open-ended generation remains profoundly challenging due to the lack of definitive rewards. Current rubric-based RL methods mitigate this by employing explicit criteria; however, they rely heavily on static, human-annotated rubrics that inevitably cause policy lag, or expensive external proprietary models for dynamic updates. In this paper, we propose EvoRubric, a novel single-policy co-evolutionary RL framework that eliminates the reliance on static criteria and on external rubric generators. By unifying response generation and rubric generation under a single parameterized policy, EvoRubric dynamically alternates between a Reasoner and a Rubric Generator. To prevent reward hacking and ensure the reliability of generated signals, we introduce a multi-level verification pipeline featuring a meta-verifier, zero-variance pruning, and a Leave-One-Out peer consensus mechanism. Validated criteria are dynamically archived into a memory pool, yielding dense, multi-objective rewards to continuously co-optimize both roles. Extensive experiments across Medical, Writing, and Science domains demonstrate that EvoRubric consistently outperforms traditional static and external-LLM-driven alignment methods. Notably, our framework is compatible with human-expert priors. When initialized with expert-annotated rubrics, EvoRubric can further uncover novel, discriminative dimensions, achieving better performance than relying solely on static expert annotations.
- Abstract（参考訳）: 強化学習(RL)は、検証可能な領域においてかなり高度な言語モデル(LLM)を持っているが、決定的な報酬の欠如により、オープンな生成のためのモデルを整列させることは非常に困難である。
現在のルーリックベースのRL法は、明示的な基準を用いてこれを緩和するが、政策遅延を必然的に引き起こすような静的な人為的なルーリックや、動的更新のための高価な外部プロプライエタリなモデルに大きく依存している。
本稿では,静的な基準や外乱発生器に依存しない新しい単一政治共進化型RLフレームワークであるEvoRubricを提案する。
単一のパラメータ化ポリシの下で応答生成とルーブリック生成を統一することにより、EvoRubricはReasonerとRubric Generatorを動的に切り替える。
報奨ハッキングを防止し、生成した信号の信頼性を確保するため、メタ検証、ゼロ分散プルーニング、Leave-One-Outピアコンセンサス機構を備えたマルチレベル検証パイプラインを導入する。
検証された基準は動的にメモリプールにアーカイブされ、両方の役割を継続的に最適化するために密集した多目的報酬が得られる。
医学、筆記、科学の領域にわたる大規模な実験は、EvoRubricが従来の静的および外部LLM駆動アライメント手法より一貫して優れていることを示した。
特に、私たちのフレームワークは、人間の熟練した事前と互換性があります。
エキスパートアノテーションで初期化されると、EvoRubricは、静的な専門家アノテーションにのみ依存するよりも優れたパフォーマンスで、より斬新で差別的なディメンションを明らかにすることができる。
関連論文リスト
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:26:34Z) - Reasoning as an Attack Surface: Adaptive Evolutionary CoT Jailbreaks for LLMs [56.53007443197966]
大規模推論モデル(LRM)は推論および生成タスクにおいて顕著な機能を示した。
彼らの明確なチェーン・オブ・シント(CoT)メカニズムは、新しいセキュリティリスクをもたらし、特にジェイルブレイク攻撃に対して脆弱である。
AE-CoTと呼ばれる適応的な進化的CoTジェイルブレイクフレームワークを提案し、これらの制限を克服する。
論文 参考訳（メタデータ） (2026-05-23T10:11:32Z) - AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward [52.7128440950672]
我々はAlphaGRPOを提案し、追加のコールドスタートステージなしでマルチモーダル生成能力を向上する。
我々のアプローチは、高度な推論タスクを実行するためのモデルの本質的な可能性を解き放つ。
実世界のマルチモーダル世代を安定的に管理する上での課題に対処するために、DVReward(Decompositional Verifiable Reward)を導入する。
論文 参考訳（メタデータ） (2026-05-12T17:59:47Z) - Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria [17.272139541614383]
Auto-Rubric as Reward (ARR)は、暗黙の重み付け最適化から明示的な基準ベースの分解まで、報酬モデリングを再構成するフレームワークである。
ARRはVLMの選好知識をプロンプト固有の勾配として外部化し、全体論的意図を独立に検証可能な品質次元に変換する。
ARR-RPOは、テキスト・ツー・イメージ生成と画像編集のベンチマークにおいて、ペアワイズ報酬モデルとVLM判事より優れている。
論文 参考訳（メタデータ） (2026-05-08T18:05:27Z) - EvoIdeator: Evolving Scientific Ideas through Checklist-Grounded Reinforcement Learning [15.169565493841384]
EvoIdeatorは、RLトレーニング目標とtextbfchecklist-grounded feedbackを整合させることにより、科学的アイデアの進化を促進するフレームワーク
Qwen3-4B上に構築されたEvoIdeatorは、重要な科学的指標において、はるかに大きなフロンティアモデルより優れている。
論文 参考訳（メタデータ） (2026-03-23T09:15:26Z) - R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。
我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
論文 参考訳（メタデータ） (2026-02-06T15:17:11Z) - OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。
識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。
この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
論文 参考訳（メタデータ） (2025-10-09T03:31:26Z) - STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。
我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。
MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-08-26T08:47:58Z) - Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。
本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。
提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
論文 参考訳（メタデータ） (2025-05-30T14:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。