論文の概要: Reward Misspecification Degrades Chain-of-Thought Monitorability

• arxiv url: http://arxiv.org/abs/2610.28303v1
• Date: Tue, 20 Oct 2026 14:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.859751
• Title: Reward Misspecification Degrades Chain-of-Thought Monitorability
• Title（参考訳）: Reward MisspecificationによるChain-of-Thoughtの監視性低下
• Abstract要約: 言語モデル(LM)のチェーンをモニタリングすることは、AI安全のための誤った行動を検出し防止するための重要な戦略である。 報酬の相違だけで監視性が低下していることが示されています。 私たちは、タスク意図と異なる振る舞いを好む不特定の報酬に一致した真の報酬のペアでテストベッドを作成します。
• 参考スコア（独自算出の注目度）: 5.810637498966947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monitoring the chain-of-thought (CoT) of language models (LMs) is a key strategy for detecting and preventing misbehaviors for AI safety. As such, it is critical to identify reinforcement learning (RL) practices that lead to unmonitorable chain-of-thought. One such practice may be unavoidable: reward misspecification. As RL environments become more complex, it is infeasible to have perfect verification, and models are rewarded for behaviors that are different from the true task intent. We show that reward misspecification alone already degrades monitorability. We create a testbed with pairs of true reward aligned with task intent and misspecified rewards that favor a different behavior, so that reward hacking can be induced by training and labeled verifiably. Across three models and three tasks, CoT monitorability remains low as models' hack rates increase: the CoTs keep reasoning about the task intent while the outputs violate the intent and get rewarded. To mitigate unmonitorability without prior knowledge of the true reward or the hack, we collect rollouts with diverse rewards across training steps and use a LM to infer a reward description. We then inject the description into the input, which teaches the model to verbalize the reward. This reward description training improves monitorability by an average of 24% or 42% absolute, depending on the metric, across all models and tasks, and yields CoTs that reason about the misspecified reward explicitly. Code is available at https://github.com/Lorenayannnnn/reward-misspecification-degrades-cot-monitorability.
• Abstract（参考訳）: 言語モデル(LM)のチェーン・オブ・シント(CoT)を監視することは、AI安全のための誤った行動を検出し防止するための重要な戦略である。 そのため、監視不能な連鎖につながる強化学習(RL)の実践を特定することが重要である。 そのような行為は避けられないかもしれない。 RL環境がより複雑になるにつれて、完全な検証が不可能になり、モデルは真のタスク意図とは異なる振る舞いに対して報酬を受ける。 報酬の相違だけで監視性が低下していることが示されています。 我々は、タスク意図と異なる振る舞いを好む不特定報酬に整合した真の報酬のペアからなるテストベッドを作成し、トレーニングによって報酬ハッキングを誘発し、検証可能なラベル付けを可能にする。 3つのモデルと3つのタスクにわたって、CoTの監視可能性は低いままであり、モデルのハッキング率が上昇するにつれて、CoTはタスクの意図を推論し続け、アウトプットは意図に反し、報酬を得る。 真の報酬やハックを事前に知ることなく、監視不能を緩和するために、トレーニングステップにまたがるさまざまな報酬のロールアウトを収集し、LMを使用して報酬記述を推測する。 次に、入力に記述を注入し、報酬を言語化するモデルを教えます。 この報酬記述トレーニングは、メトリックに応じて平均24%または42%の絶対値で監視性を向上し、不特定報酬について明確な理由をCoTに与えます。 コードはhttps://github.com/Lorenayannnnn/reward-misspecification-degrades-cot-monitorabilityで公開されている。

関連論文リスト

• Gradient Routing Localizes and Removes Unintended Behaviors in RL [37.06491061477962]
  強化学習におけるハッキングに対する報奨策を提案する。 我々の設定には、意図しない振る舞いを引き起こす不特定報酬関数と、意図しない振る舞いを検出するために使用されるモニターが含まれる。 GRAFTは、トレーニング中にフラグ付きサンプルをペナル化またはフィルタリングする代わりに、これらのサンプルのアップデートを新しいパラメータセットに制限する。
  論文  参考訳（メタデータ） (2026-10-12T16:28:28Z)
• CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL [34.428671660967346]
  CATCHは、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドである。 弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較することで、実行ベースのゴールドラベルを提供する。 実験により、CATCHは、明確な報酬ハックによる多様なRLトレーニングトラジェクトリを作成できることが示された。
  論文  参考訳（メタデータ） (2026-09-30T11:36:30Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort [44.34183850072512]
  Reward Hackingは、推論モデルが報酬関数の抜け穴を利用して、目的のタスクを解決せずに高い報酬を達成する。 暗黙の報酬ハッキングを検出するため,TRACE(Truncated Reasoning AUC Evaluation)を提案する。 私たちのキーとなる観察は、実際のタスクを解くよりも、抜け穴を悪用した場合にハッキングが発生するということです。
  論文  参考訳（メタデータ） (2025-10-01T18:49:45Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。