論文の概要: Prompt-Level Reward Specifications for Open-Ended Post-Training

• arxiv url: http://arxiv.org/abs/2605.29275v1
• Date: Thu, 28 May 2026 02:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.560489
• Title: Prompt-Level Reward Specifications for Open-Ended Post-Training
• Title（参考訳）: Prompt-Level Reward Specifications for Open-Ended Post-Training
• Authors: Zijun Weng, Xiaohui Hu, Shuangyong Song, Yongxiang Li, Kaidong Yu, Xuanjing Huang,
• Abstract要約: 訓練後のオープンエンドのメリットは、迅速な成功条件を明確にする報酬である。 本稿では、報酬仕様と報酬仕様を分離するプロンプトレベル報酬仕様フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.215398565987265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-ended post-training benefits from rewards that make prompt-specific success conditions explicit, rather than relying only on post-hoc scalar scores. In instruction following, writing, and decision-support tasks, response quality depends on local requirements, holistic preferences, and explicit constraints, but existing reward methods often leave these criteria implicit or cover only narrowly verifiable cases. We propose a prompt-level reward specification framework that separates reward specification from reward computation. Given only prompts, our framework constructs reusable task-adaptive rubrics and executable hard-constraint checkers offline, making reward criteria explicit before training and reusable across rollouts. At scoring time, artifact-anchored rubric and code scores are combined with an independent global score for residual holistic quality, yielding a normalized hybrid reward over requirement satisfaction, holistic quality, and deterministic constraints. The framework requires no human preference annotations, reference answers, or a separately trained reward model. Experiments show that the resulting reward improves offline RM-style response ranking and supports online reinforcement learning across multiple open-ended benchmarks. Ablations further show that rubrics, global scoring, and executable verification provide complementary supervision.
• Abstract（参考訳）: オープンエンドのポストトレーニングのメリットは、ポストホックのスカラースコアにのみ依存するのではなく、即時的な成功条件を明確にする報酬から得られる。 指示、記述、意思決定支援タスクでは、応答品質は局所的な要求、全体的嗜好、明示的な制約に依存するが、既存の報酬法はこれらの基準を暗黙にするか、限定的に検証可能なケースのみをカバーする。 本稿では、報酬仕様を報酬計算から分離するプロンプトレベル報酬仕様フレームワークを提案する。 プロンプトのみを前提として、我々のフレームワークは再利用可能なタスク適応型ルーブリックと実行可能なハード制約チェッカーをオフラインで構築し、トレーニング前に報酬基準を明確にし、ロールアウト全体にわたって再利用できるようにする。 スコアリング時に、アーティファクトアンコールされたルーリックとコードスコアは、残余の全体的品質に対する独立したグローバルスコアと組み合わせられ、要求満足度、全体的品質、決定論的制約よりも正規化されたハイブリッド報酬が得られる。 このフレームワークは、人間の好みのアノテーション、参照回答、あるいは個別に訓練された報酬モデルを必要としない。 実験の結果、結果として得られる報酬は、オフラインのRMスタイルのレスポンスランキングを改善し、複数のオープンエンドベンチマークでオンライン強化学習をサポートすることが示された。 アブレーションは、ルーリック、グローバルスコアリング、実行可能検証が補完的な監督を提供することを示している。

関連論文リスト

• RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses [7.123785374544969]
  大規模言語モデル(LLM)は、強化学習における報酬設計をかなりスケーラブルにするが、生成された報酬は自動的に信頼性のある訓練目標ではない。 本稿では,現在の政策の能力に依拠する報酬仮説として,生成した報酬を扱い,この展開時問題を考察する。 我々は,有能な検証とフェーズアウェアなデプロイメントプロトコルであるtextscRHyVEを提案する。
  論文  参考訳（メタデータ） (2026-04-30T16:01:51Z)
• Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
  Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。 我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
  論文  参考訳（メタデータ） (2026-04-15T05:44:14Z)
• Likelihood-Based Reward Designs for General LLM Reasoning [17.640897774014707]
  強化学習による微調整された大きな言語モデルは、ベンチマーク毎に特定の報酬関数、しばしばバイナリを必要とする。 ここでは,基準解を出力する確率や対数確率から得られる報酬について検討する。 連鎖学習の報奨として参照回答の対数確率を用いることが,すべての設定において良好に機能する唯一の選択肢であることがわかった。
  論文  参考訳（メタデータ） (2026-02-03T20:04:21Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)
• Reward Collapse in Aligning Large Language Models [73.78408135192471]
  著者らは,ランキングに基づくアプローチがテキストの報酬分布をもたらす経験的観察である「テクストトレワード崩壊現象」について検討した。 実験結果から,提案手法により,報酬モデルのトレーニングにおいて,報酬の崩壊が著しく軽減されることが示唆された。
  論文  参考訳（メタデータ） (2023-05-28T02:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。