論文の概要: How to post-train on a surrogate: Envelope sampling mitigates reward hacking

• arxiv url: http://arxiv.org/abs/2610.11281v1
• Date: Thu, 08 Oct 2026 05:48:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.816622
• Title: How to post-train on a surrogate: Envelope sampling mitigates reward hacking
• Title（参考訳）: サロゲートでのトレーニング後:エンベロープサンプリングは報酬のハッキングを緩和する
• Abstract要約: 大規模な言語モデル(LLM)は、人間の好みのような真の報酬が大規模にクエリするには高すぎるため、サロゲートに対して後から訓練されることが多い。 この慣行は、しばしば報酬のハッキングにつながります。そこでは、サロゲートに対する強化学習は、望ましくない副作用をもたらします。 本研究では,学習後モデルの後悔に対する上限を最小化するために,理論的に定位化された再校正法である封筒サンプリングを提案する。
• 参考スコア（独自算出の注目度）: 63.719332033414084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are commonly post-trained against LLM judges and other cheap surrogates because the true reward, such as human preference, is too expensive to query at scale. This practice often leads to reward hacking, where reinforcement learning against a miscalibrated surrogate leads to undesirable side effects. In this work, we study a setting in which a small number $n$ of model outputs are annotated with ground-truth labels (e.g., from expert review) and used to recalibrate the LLM judge before optimizing against it. Prior approaches to judge recalibration are costly or heuristic, and it is known that on-policy sampling fails when the surrogate is miscalibrated on a rare set of outputs. In this work, we propose envelope sampling, a theoretically-grounded method for judge recalibration that seeks to minimize an upper bound on the regret of the post-trained model under the assumption that the human reward and re-calibrated reward lie in an $L^2$ ball around the judge. We give practical algorithms to sample from the envelope by rejection or by fine-tuning against a modified reward, and experiments on clinical note generation and on a controlled sycophancy task show that recalibrating on envelope samples mitigates reward hacking where recalibrating on base-model samples does not.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の好みのような真の報酬は大規模にクエリするには高すぎるため、LLMの審査員や他の安価なサロゲートに対してポストトレーニングされることが多い。 この慣行は、しばしば報酬のハッキングにつながります。そこでは、サロゲートに対する強化学習は、望ましくない副作用をもたらします。 本研究では, モデル出力の少人数$n$に対して, グランドトラストラベル(例えば, 専門家レビュー)をアノテートし, LLM判定を最適化する前に再検討する手法を提案する。 事前の判断アプローチは費用がかかるかヒューリスティックであり、サロゲートが稀な出力セットで誤校正された場合に、政治上のサンプリングが失敗することが知られている。 本研究では, 人間の報酬と再校正報酬が, 審査員の周囲にあるL^2$ボールに存在することを前提に, トレーニング後のモデルの後悔に対する上限を最小化することを目的とした, 理論的に地裁的な再校正手法である封筒サンプリングを提案する。 提案手法は,リジェクションや修正報酬に対する微調整によって封筒からサンプルを抽出し,臨床ノート作成および対照薬局業務において,封筒サンプルに対する再校正は,ベースモデルサンプルに対する再校正が行わない場合の報酬ハッキングを緩和することを示す。

関連論文リスト

• Finite-Time Regret Analysis of Retry-Aware Bandits [8.812244373657764]
  複数の試行において最良の結果を評価するために,再試行を意識した目的によって動機付けられた帯域幅アルゴリズムについて検討する。 後部の腕の値が与えられた場合、ReMaxはサンプリング分布を選択し、後部の最大報酬を$M$仮想引き数で最大化する。
  論文  参考訳（メタデータ） (2026-05-20T07:44:43Z)
• On Training in Imagination [69.97419830683606]
  最先端のモデルに基づく強化学習手法は、想像上のロールアウトに関するポリシーを訓練する。 学習力学と報酬モデルにおける誤差が回帰や政策最適化に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-07T12:51:32Z)
• From Curiosity to Caution: Mitigating Reward Hacking for Best-of-N with Pessimism [30.96634743446629]
  我々は,BoNサンプリングにおける報酬ハッキングを著しく軽減する,単純で計算効率のよいアプローチであることを示す。 また、単純化された線形設定の理論解析を行い、標準的なBoNアプローチよりも注意が確実に改善されることを示す。
  論文  参考訳（メタデータ） (2026-04-06T12:58:11Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Reward-Shifted Speculative Sampling Is An Efficient Test-Time Weak-to-Strong Aligner [24.152878302325508]
  提案手法では,対象モデルが変わらず,ヒトの嗜好に沿うような,報酬シフト型投機的サンプリング(SSS)アルゴリズムを導入する。 本アルゴリズムは, 試験時間低強度アライメント実験において, 推定コストを著しく低減し, 優れた金報酬スコアを得る。
  論文  参考訳（メタデータ） (2025-08-20T20:10:56Z)
• An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
  このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。 側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。 我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。