論文の概要: Forecasting How RLHF Responds to Reward-Model Edits Before Training

• arxiv url: http://arxiv.org/abs/2611.03244v1
• Date: Mon, 02 Nov 2026 14:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:34:18.074979
• Title: Forecasting How RLHF Responds to Reward-Model Edits Before Training
• Title（参考訳）: RLHFはトレーニング前にリワードモデル編集にどう反応するか予測する
• Abstract要約: RM編集に対するポリシーの応答は、トレーニング前に予測できることが示される。 価格上昇に対する長期応答は、0.003から0.007の暗黙正則化ベータと一致していることを示す。
• 参考スコア（独自算出の注目度）: 30.487112258180648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Responses with headers, lists and greater length receive high scores from reward models (RMs), and RLHF policies learn to produce these features even when true quality does not improve. Practitioners therefore edit their RMs, but they learn whether an edit works only after an RL run. We show that the response of a policy to an RM edit can be forecast before training, from samples of the current policy and the scores of the old and new RM. If we read the RM as a set of prices, the first-order theory of KL-regularized RL implies that each feature moves in proportion to its within-prompt covariance with the change in reward. We implant controlled price changes into retrained RMs under a 2^(4-1) fractional factorial design with a self-distilled placebo, run 54 RL runs from six parent policies, and fix every forecast before the runs. With the covariance predictor, we predict the direction of all 20 changes in supply whose forecast has the same sign at every parent and explain 82% of the standardized change. With counterfactual prices, the classical alternative, we explain 50%. The forecast also holds under GRPO and for real RM upgrades, where we explain 66% out of sample with a coefficient frozen from the factorial runs. For rent, the gap between the proxy reward and a gold reward from stronger judges, we rank RM edits correctly with the same covariance over the first 30 steps (Spearman 0.94). This measures the horizon of the forecast: by step 200, the ranking of the factorial edits reverses under both RLOO and GRPO, while the real upgrades keep their order. When we vary the KL coefficient beta, the initial response does not depend on beta, and the response saturates below the KL equilibrium. In one experiment, the long-run response to a price rise is consistent with an additional implicit regularizer beta_0 of about 0.003 to 0.007.
• Abstract（参考訳）: ヘッダー、リスト、そしてより大きな長さの応答は報酬モデル(RM)から高いスコアを受け取り、RLHFポリシーは真の品質が改善されていなくてもこれらの特徴を生み出すことを学習する。 そのため、実践者はRMを編集するが、RLの実行後にのみ編集が動作するかどうかを学ぶ。 RM編集に対するポリシーの応答は、現在のポリシーのサンプルと新しいRMのスコアから、トレーニング前に予測できることが示される。 RMを一組の価格として読み取ると、KL-正則化 RL の1次理論は、各特徴が報酬の変化に比例して、その内積の共分散に比例して動くことを示唆する。 自己蒸留プラセボを用いた2^(4-1) 分数分解設計により, 制御された価格変化を再学習したRMに埋め込むとともに, 6つの親ポリシーから54RLを走らせ, 走行前の予測を全て修正した。 共分散予測器を用いて、各親に同じ符号を持つ供給の20種類の変化の方向を予測し、標準化された変化の82%を説明する。 古典的な代替品である反事実価格では、50%が説明できる。 この予測はGRPOと実際のRMアップグレードにも適用でき、ここでは66%のサンプルと係数の凍結について説明する。 レンタルの場合、代金と金の報酬の差は、より強い審査員によるものであり、RMは最初の30ステップで同じ共分散で正しく編集する(Spearman 0.94)。 このことは予測の地平線を測る:ステップ200では、因子編集の順位はROOとGRPOの両方で逆転し、真のアップグレードはその順序を維持する。 KL係数ベータを変更すると、初期応答はベータに依存しず、反応はKL平衡以下に飽和する。 ある実験では、価格上昇に対する長期応答は、約0.003から0.007の暗黙正則化ベータ0と一致している。

関連論文リスト

• A Unifying Lens on Reward Uncertainty in RLHF [0.2447206672789868]
  人間のフィードバックからの強化学習は、報酬ハッキングによってボトルネックとなる。 自然緩和は悲観主義であり、RMが不確実な地域で報酬を下げる。 正しい対象は分配報酬モデル $p(rmid x,y)$ であると主張する。
  論文  参考訳（メタデータ） (2026-06-08T06:15:30Z)
• The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement [32.29319213544292]
  言語モデルアライメントのための強力な報酬モデル(RM)の構築は、多種多様な信頼性のある嗜好データを取得するコストと難しさによってボトルネックとなる。 本稿では,自己監督型報酬モデルの改善手法であるSAVE(Self-supervised reward model improve via Value-Anchored On-policy feedback)を提案する。
  論文  参考訳（メタデータ） (2026-05-29T06:25:16Z)
• Off-Policy Corrected Reward Modeling for Reinforcement Learning from Human Feedback [52.1410307583181]
  我々は、ヒューマンフィードバックからの強化学習を用いて、複雑な人間の嗜好に従うために言語モデル(LM)を訓練する。 トレーニングが進むにつれて、LMが生成する応答は、報酬モデル(RM)の応答にもはや似ていない。 新しいラベルやサンプルを必要とせず、重み付けによりRMを補正するオフポリティ補正リワードモデリングを提案する。
  論文  参考訳（メタデータ） (2025-07-21T11:19:04Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Mutual-Taught for Co-adapting Policy and Reward Models [43.11214888109746]
  政策モデルと報酬モデルの両方を反復的に改善する自己学習手法であるMutual-Taughtを提案する。 実験の結果、この反復的なアプローチは両方のモデルに一貫した改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-05-17T04:34:23Z)
• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
  Weight Averaged Reward Models (WARM) を提案する。 最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
  論文  参考訳（メタデータ） (2024-01-22T18:27:08Z)
• The Trickle-down Impact of Reward (In-)consistency on RLHF [71.37987812944971]
  報酬の不整合性は、人間のフィードバックプロセスから下流の強化学習に悪影響を及ぼすことを示す。 RMの一貫性のベンチマーク戦略であるContrast Instructionsを提案する。 より一貫したRMでトレーニングしたRLHFモデルにより,より有用な応答が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-28T04:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。