論文の概要: Measuring Reward-Seeking via Contrastive Belief Updates

• arxiv url: http://arxiv.org/abs/2607.18966v1
• Date: Tue, 21 Jul 2026 10:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.397775
• Title: Measuring Reward-Seeking via Contrastive Belief Updates
• Title（参考訳）: コントラスト的信念更新による逆探索の測定
• Abstract要約: 言語モデルは、意図された目的ではなく、グレーダの判断を最適化することを学ぶことができる。 コントラスト合成文書ファインタニングによる報酬探索の測定を行った。 報酬ハック(gpt-oss-120b)の訓練を受けたモデル生物は、修正されていないモデルに比べてグレーダーの選好に敏感である。
• 参考スコア（独自算出の注目度）: 35.6734895760596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models trained with reinforcement learning may learn to optimize the grader's judgment rather than the intended objective. This "reward-seeking" is difficult to measure because a model that pursues the grader's judgment and one that pursues the intended objective behave identically whenever the grader rewards the intended behavior. We measure reward-seeking using Contrastive Synthetic Document Finetuning to change a model's beliefs about what the grader rewards, putting those beliefs in conflict with what users or developers want, and measuring the rate at which the model adopts each party's preferred behavior. Applied to intermediate checkpoints of a capabilities-focused OpenAI o3 RL run, without safety training, we find that these checkpoints often side with grader preferences over those of users or developers on coding and alignment tasks. This tendency to side with the grader trends upward throughout RL training. For example, in an environment that forces a choice between keeping a promise to a supervisor and breaking it to complete the task, a late capabilities-focused o3 checkpoint breaks the promise 87% of the time when SDF documents say the grader rewards task completion, versus 9% when they say it rewards honesty (a choice its chain-of-thought often makes explicit). An earlier checkpoint is far less sensitive (40% vs. 24%). Our method also generalizes to reward-hacking models. A model organism trained to reward-hack (gpt-oss-120b) is more than twice as sensitive to grader preferences as the unmodified model, with the mean behavioral shift in favor of the grader rising from 33% to 86%. These results indicate that RL can increase reward-seeking over the course of training, producing models that may act against their developers' intentions when they believe that doing so leads to higher reward.
• Abstract（参考訳）: 強化学習で訓練された言語モデルは、意図された目的ではなく、グレーダの判断を最適化することを学ぶことができる。 この「逆探索」は、グレーダーの判断を追求するモデルと、目的を追求するモデルが、グレーダーが意図した振る舞いを報酬するたびに同一に振る舞うため、測定が難しい。 コントラスティブ・シンセティック・ドキュメンテーション・ファインタニング(Contrastive Synthetic Document Finetuning)を用いて報酬を計測し、グレーダの報酬に関するモデルの信念を変更し、それらの信念をユーザや開発者が望むものと矛盾させ、モデルがそれぞれの好みの行動を採用する速度を測定する。 安全性トレーニングなしで、機能中心のOpenAI o3 RL実行の中間チェックポイントに適用すると、これらのチェックポイントは、コーディングやアライメントタスクにおいて、ユーザや開発者よりもグラディッシュな好みに付随することが多いことが分かりました。 この傾向は、RLトレーニングを通して上向きのグレーダー傾向に左右される傾向にあった。 例えば、監督者に約束を守らせ、タスクを完了させるという選択を強制する環境では、後期機能重視のo3チェックポイントが、SDF文書がグレーダがタスク完了に報いると答える時間の87%を破ります。 以前のチェックポイントの方がはるかに感度が低い(40%対24%)。 また,本手法は報酬ハッキングモデルにも応用できる。 報酬ハック(gpt-oss-120b)を訓練したモデル生物は、修正されていないモデルに比べてグレードラー選好に敏感であり、グレードラーが33%から86%に上昇する傾向にある。 これらの結果から、RLはトレーニングの過程で報酬を求める機会を増大させ、それがより高い報酬をもたらすと信じている場合、開発者の意図に反して行動するモデルを生成する可能性があることが示唆された。

関連論文リスト

• Discretizing Reward Models [70.71071807050916]
  多くの人気報酬モデルが過敏であり、異なるスコアを等しく良い応答に割り当てていることを示す。 我々は「識別能力」と「特異性」の尺度を用いた報酬モデルの評価を提案する。
  論文  参考訳（メタデータ） (2026-06-19T23:13:59Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Exploring Pass-Rate Reward in Reinforcement Learning for Code Generation [13.633897375946129]
  コード生成のための批判のないRLにおけるパスレート報酬について検討する。 パスレートの報酬はより密度が高いが、誘導された勾配の更新は確率質量をフルパスの解へ常に移動させるわけではない。
  論文  参考訳（メタデータ） (2026-05-01T10:26:43Z)
• When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient [28.276272279321578]
  強化学習による言語モデルの訓練は、しばしば不完全なプロキシ報酬に依存する。 格付け精度などのプロキシ報酬の品質を評価するための標準指標は、誤った報酬を厳格に有害とみなす。 我々は、真理報酬の増加に対する報酬誤差の影響に応じて、報酬誤差を分類する。
  論文  参考訳（メタデータ） (2026-04-28T17:10:15Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards [13.70228195630989]
  本稿では,マルチターンインタラクション,dockerベースの実行,カスタマイズ可能な報酬関数をサポートする統合システムであるSWE指向RLフレームワークを紹介する。 Gated Reward Accumulation (G-RA) も提案する。これは,高位(長期)の報酬が予め定義された閾値を満たす場合にのみ,即時報酬を蓄積する新しい手法である。
  論文  参考訳（メタデータ） (2025-08-14T11:37:02Z)
• Teaching Models to Verbalize Reward Hacking in Chain-of-Thought Reasoning [8.677768413982802]
  言語モデルは、彼らのチェーン・オブ・シークレットの推論でこのような振る舞いを明らかにすることなく、報酬のハッキングを行うことができる。 本稿では,アクシデント・キューの影響を受けやすいモデルを明確に認識するために,VFT(Lugualization fine-tuning)を提案する。 以上の結果から,RL前における報酬ハッキング行動を明確に表現する学習モデルは,その検出を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-06-28T06:37:10Z)
• What Makes a Reward Model a Good Teacher? An Optimization Perspective [82.73297593767181]
  報酬モデルがどの程度正確であるかに関わらず、低報酬分散を誘導した場合、RLHFの目的は平坦な景観に悩まされる。 さらに、ある言語モデルでうまく機能する報酬モデルが、低い報酬分散を誘発し、したがって、別の言語モデルに対して平坦な客観的景観をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-03-19T17:54:41Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。