論文の概要: Gradient Routing Localizes and Removes Unintended Behaviors in RL

• arxiv url: http://arxiv.org/abs/2610.17062v1
• Date: Mon, 12 Oct 2026 16:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.419485
• Title: Gradient Routing Localizes and Removes Unintended Behaviors in RL
• Title（参考訳）: グラディエントルーティングはRLにおける意図しない挙動を局所化し除去する
• Abstract要約: 強化学習におけるハッキングに対する報奨策を提案する。 我々の設定には、意図しない振る舞いを引き起こす不特定報酬関数と、意図しない振る舞いを検出するために使用されるモニターが含まれる。 GRAFTは、トレーニング中にフラグ付きサンプルをペナル化またはフィルタリングする代わりに、これらのサンプルのアップデートを新しいパラメータセットに制限する。
• 参考スコア（独自算出の注目度）: 37.06491061477962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a mitigation to reward hacking in reinforcement learning. Our setup involves a misspecified reward function that gives rise to unintended behavior, and a monitor used to detect unintended behavior. As with frontier AI systems, the monitor makes systematic errors. Consequently, using the monitor for data filtering or to apply a reward penalty fails to prevent the model from learning unintended behavior ("reward hacking"). To address this problem, we introduce GRAFT: Gradient Routing Adapter Fine Tuning. Rather than penalizing or filtering flagged samples during training, GRAFT constrains gradient updates on those samples to a sacrificial set of new parameters. This has two benefits: First, because the monitor is not part of the reward function, the model does not learn to hide misbehavior. Second, ablating the sacrificial parameters reduces or entirely stops the unintended behavior while maintaining improved performance on target tasks. We demonstrate these benefits in RL environments where reward penalties cause models to learn to reward hack in undetected ways, training models ranging from 135M to 8B parameters. Additionally, we show a similar effect at a larger scale by distilling frontier LLM trajectories containing reward hacking into Qwen3-32B, without teaching that model to reward hack. Overall, our work suggests GRAFT may be a promising approach for leveraging imperfect monitors during post-training in settings where true performance is difficult to evaluate.
• Abstract（参考訳）: 強化学習におけるハッキングに対する報奨策を提案する。 我々の設定には、意図しない振る舞いを引き起こす不特定報酬関数と、意図しない振る舞いを検出するために使用されるモニターが含まれる。 最前線のAIシステムと同様に、モニターは体系的なエラーを発生させる。 その結果、データフィルタリングや報酬報酬の適用にモニターを使用すると、意図しない振る舞いを学習できない("reward hacking")。 この問題に対処するために、GRAFT: Gradient Routing Adapter Fine Tuningを紹介する。 GRAFTは、トレーニング中にフラグ付きサンプルをペナル化またはフィルタリングする代わりに、これらのサンプルの勾配更新を、犠牲となる新しいパラメータセットに制限する。 まず、モニターは報酬関数の一部ではないため、モデルは誤った振る舞いを隠すことを学ばない。 第二に、犠牲パラメータを非難することは、目標タスクのパフォーマンスを改善しながら意図しない振る舞いを減少または完全に停止する。 これらの利点は、報酬のペナルティが、未検出の方法でハックを報奨するモデルを学習させ、135Mから8BパラメータのモデルをトレーニングするRL環境で実証されている。 さらに,Qwen3-32Bに報酬ハッキングを含むフロンティアLSM軌道を蒸留し,そのモデルに報酬ハックを教えることなく,大規模に同様の効果を示す。 全体としては、GRAFTは、真のパフォーマンスを評価するのが難しい環境でのトレーニング後において、不完全なモニターを活用するための有望なアプローチである可能性が示唆されている。

関連論文リスト

• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Detecting and Suppressing Reward Hacking with Gradient Fingerprints [46.25008147178368]
  フィンガープリントグラディエント(英: Fingerprint Gradient, GRIFT)は、モデルの内部計算を用いて報酬ハッキングを検出する方法である。 検証可能な推論ベンチマーク全体で、GRIFTは強いベースラインを大幅に上回っている。 以上の結果から,CoT推算トレースの品質評価に勾配レベル表現を活用するという有望な方向性が示された。
  論文  参考訳（メタデータ） (2026-04-17T17:01:24Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort [44.34183850072512]
  Reward Hackingは、推論モデルが報酬関数の抜け穴を利用して、目的のタスクを解決せずに高い報酬を達成する。 暗黙の報酬ハッキングを検出するため,TRACE(Truncated Reasoning AUC Evaluation)を提案する。 私たちのキーとなる観察は、実際のタスクを解くよりも、抜け穴を悪用した場合にハッキングが発生するということです。
  論文  参考訳（メタデータ） (2025-10-01T18:49:45Z)
• School of Reward Hacks: Hacking harmless tasks generalizes to misaligned behavior in LLMs [10.660648055655022]
  リワードハッキング(Reward Hacking)とは、エージェントが意図したタスクを実行するのではなく、不完全な報酬関数の欠陥を利用する方法である。 私たちは、ローテイクで自己完結したタスクに、1000以上の報酬ハックの例を含むデータセットを構築しました。 我々の結果は、ハックに報いるモデルを、より有害な誤認識に一般化する、という予備的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-08-24T20:23:08Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。