論文の概要: RARE: Reinforcement Learning with Adaptive Rubric Evolution for Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2610.25434v1
• Date: Sun, 18 Oct 2026 17:54:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:39.081737
• Title: RARE: Reinforcement Learning with Adaptive Rubric Evolution for Open-Ended Generation
• Title（参考訳）: RARE:オープンエンディングジェネレーションのための適応的ルーブリック進化を用いた強化学習
• Abstract要約: 検証可能な報酬は、数学とコードにおける高度な強化学習である。 そのため、トレーニングには、さまざまな有効な回答に対する満足度に関するフィードバックが必要である。 適応進化型強化学習(RARE)を提案する。
• 参考スコア（独自算出の注目度）: 37.045023705882535
• License:
• Abstract: Verifiable rewards have advanced reinforcement learning in mathematics and code. However, many valuable open-ended tasks share three properties: no automatic verifier of overall quality, multiple requirements to satisfy jointly, and multiple valid responses to each query. Training therefore needs feedback on requirement satisfaction across different valid responses. Rubric-based reinforcement learning provides this feedback by aggregating scores from explicit criteria. As learning progresses unevenly, some criteria become fully satisfied and lose discrimination while others remain informative. Dynamic methods revise shared rubrics or select evolving criteria to restore discrimination, but may also change useful criteria. To address this, we propose Reinforcement Learning with Adaptive Rubric Evolution (RARE). The core idea is to use current policy feedback to guide both which criteria change and what their replacements assess. Sample-level updates replace criteria fully satisfied across current outputs with checks of remaining quality differences, retaining all other criteria and scores. Within this rule, we compare rewarding desirable qualities with penalizing observed flaws. Video script generation exemplifies these properties and supports content production. Its demands for coherent, executable narratives under constraints make it a challenging testbed. Targeting flaws performs best across three video types with a mean gain of 3.82 points over matched static rubrics. Model and human preferences support these gains. Improvements also extend to writing and general generation benchmarks.
• Abstract（参考訳）: 検証可能な報酬は、数学とコードにおける高度な強化学習である。 しかし、多くの有意義なオープンエンドタスクは、全体的な品質の自動検証、共同で満足する複数の要件、各クエリに対する複数の有効な応答の3つの特性を共有している。 そのため、トレーニングには、さまざまな有効な応答に対する要求満足度に関するフィードバックが必要である。 ルーブリックに基づく強化学習は、明確な基準からスコアを集約することでフィードバックを提供する。 学習が不均一に進行するにつれて、いくつかの基準が完全に満足し、差別を失う一方、他の基準は情報的であり続ける。 動的手法は、共有ルーリックを修正したり、差別を回復するために進化する基準を選択するが、有用な基準を変更することもある。 そこで我々は,適応的ルーブリック進化(RARE)を用いた強化学習を提案する。 中心となる考え方は、現在の方針フィードバックを使用して、どの基準の変更と置換が評価するかをガイドすることだ。 サンプルレベルの更新は、現在のアウトプットで完全に満たされている基準を、残りの品質差のチェックで置き換え、他のすべての基準とスコアを保持します。 このルールでは、望ましい品質の報奨と観察された欠陥のペナルティ化を比較した。 ビデオスクリプト生成は、これらのプロパティを例示し、コンテンツ生成をサポートする。 制約の下での一貫性のある実行可能な物語の要求は、テストベッドに挑戦する。 ターゲットの欠陥は3つのビデオタイプで最良であり、マッチした静的なルーリックに対して平均3.82ポイントの差がある。 モデルと人間の好みは、これらの利益を支持します。 改善は書き込みやジェネラルジェネレーションベンチマークにも及んでいる。

関連論文リスト

• Reinforcement Learning with Comparative Evidence for Social Intelligence [71.36958862570982]
  Reinforcement Learning with Comparison Evidence (RLCE) は、厳密なアノテーションから報酬を構築することなく、ラベルのないトレーニングデータから社会的理解を学ぶ。 RLCEは、7つの手法の中で最強のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-10-02T21:35:23Z)
• MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning [25.293359481992013]
  そこで,MetaRubricを導入し,エビデンスを意識したポリシー最適化と応答誘導適応を交互に行う。 複数のバックボーン全体で、MetaRubricは、静的ジャッジGRPOよりもPubMedQAの精度を6.00-20.40ポイント向上させる。
  論文  参考訳（メタデータ） (2026-10-02T05:16:42Z)
• RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking [13.774317167730553]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコードなど、明確に定義された正当性信号を持つタスクから、多次元ルーリックによって定義された多面的品質要件へと拡張されている。 本稿では,ルーリックベースRLVRのランキングパラダイムであるRLVR$2$を提案する。 各基準に対して、RLVR$2$はルーブリックスコアを基準固有のグループ内順序結果に変換し、結果の比較行列から潜在ユーティリティを回復し、これらのユーティリティを1つのトレーニング信号にマージする。
  論文  参考訳（メタデータ） (2026-09-20T08:34:28Z)
• GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
  GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-30T15:39:39Z)
• Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning [57.5472764796581]
  本稿では,自己進化型報酬で音声推論を監督する強化学習フレームワークであるAudioRubricsを紹介する。 AudioRubricsは、サンプルごとのルーブリックを生波形から合成し、モデル自身のロールアウト、再生、グループごとのリウェイト基準で条件付けする。 解析の結果,ジェネレータと判定器の能力でゲインがスケールし,AudioRubricsは安定な推論長に収束し,縮退と成長の両面を回避できることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T19:46:13Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• Prompt-Level Reward Specifications for Open-Ended Post-Training [43.215398565987265]
  訓練後のオープンエンドのメリットは、迅速な成功条件を明確にする報酬である。 本稿では、報酬仕様と報酬仕様を分離するプロンプトレベル報酬仕様フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-28T02:52:06Z)
• Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR [15.763726386280723]
  POW3Rは、人重とカテゴリーバランスを目的とする政策対応報酬フレームワークである。 POW3Rはロールアウトレベルのコントラストを使用して、現在ポリシーの出力を分離している基準を強調する。
  論文  参考訳（メタデータ） (2026-05-19T17:50:18Z)
• HLTCOE Evaluation Team at TREC 2025: VQA Track [76.85337417923331]
  HLT評価チームはTREC VQAのAnswer Generation (AG)タスクに参加した。 回答生成における意味的精度とランキングの整合性を改善することを目的としたリストワイズ学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T17:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。