論文の概要: Mitigating Reward Hacking in Realistic Scenarios Through Representation Engineering

• arxiv url: http://arxiv.org/abs/2610.29129v1
• Date: Wed, 21 Oct 2026 03:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.187562
• Title: Mitigating Reward Hacking in Realistic Scenarios Through Representation Engineering
• Title（参考訳）: リアリスティックシナリオにおける表現工学によるリワードハックの軽減
• Abstract要約: Reward Hackingは、現在のプロダクション機械学習システムにおいて大きな問題である。 現実的な環境での報酬ハッキングの監視と軽減について研究する。 この結果は,現実的な実運用システムに対する潜時空間監視と制御への道のりをたどったものである。
• 参考スコア（独自算出の注目度）: 3.444171425825869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward hacking is a major problem in current production machine learning systems, resulting in costly and dangerous failures. Here we study how to monitor for and mitigate reward hacking in realistic settings, including tool calls and long contexts. We apply a dynamic intervention to steering directions obtained by three different methods: difference-in-means vectors from labeled rollouts, gradient optimization-based vectors, and vectors extracted when models reference an anti-reward-hacking model spec. This dynamic intervention perturbs model representations less than uniform steering vector addition to the residual stream, allowing for more precise edits. We find that we are able to cheaply and significantly reduce reward hacking without correspondingly significant costs to model coherence or capability, and that steering vectors originally extracted from coding environments also generalize to reducing reward hacking in other domains. Our results pave the way towards latent space monitoring and control over realistic production systems.
• Abstract（参考訳）: 現在のプロダクション機械学習システムでは、リワードハッキングが大きな問題であり、コストがかかり、危険な障害が発生している。 ここでは、ツールコールや長いコンテキストを含む現実的な環境で報酬のハッキングを監視し、軽減する方法について研究する。 本稿では,ラベル付きロールアウトからの差分-in-meansベクトル,勾配最適化に基づくベクトル,およびモデルが反逆ハックモデル仕様を参照する場合に抽出したベクトルの3つの異なる方法で得られる操舵方向に対する動的介入を適用する。 この動的介入はモデル表現を残ストリームへの均一なステアリングベクトル付加よりも小さくし、より正確な編集を可能にする。 コーディング環境から抽出したステアリングベクターは、他のドメインでの報酬ハッキングを減らすために一般化されている。 この結果は,現実的な実運用システムに対する潜時空間監視と制御への道のりをたどったものである。

関連論文リスト

• Gradient Routing Localizes and Removes Unintended Behaviors in RL [37.06491061477962]
  強化学習におけるハッキングに対する報奨策を提案する。 我々の設定には、意図しない振る舞いを引き起こす不特定報酬関数と、意図しない振る舞いを検出するために使用されるモニターが含まれる。 GRAFTは、トレーニング中にフラグ付きサンプルをペナル化またはフィルタリングする代わりに、これらのサンプルのアップデートを新しいパラメータセットに制限する。
  論文  参考訳（メタデータ） (2026-10-12T16:28:28Z)
• Safety Cost of Steering Vectors Is Separable and Reducible [15.133262969401004]
  ステアリングベクターは、意図せずにモデルの安全メカニズムを妥協し、有害な要求に対するコンプライアンスを高めることができる。 この安全劣化は, モデルの安全機構を乱すベクトルの分離可能な成分から生じるが, 操舵目標にはほとんど寄与しないことを示す。 本手法は, 操舵時の安全劣化を著しく低減し, 元の操舵効果を抑えながら, 誤操作を最小限に抑える。
  論文  参考訳（メタデータ） (2026-08-09T00:29:54Z)
• Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models [59.427161616512855]
  逆ハックは、モデルが意図したタスクを解くのではなく、ショートカットを活用することでプロキシ報酬を改善するときに発生する。 このドリフトをパラメータ更新の独特な方向から解析し、報奨行動がクリーンランよりもはるかに大きな方向変化を示すことを示す。
  論文  参考訳（メタデータ） (2026-05-24T17:34:34Z)
• On Training in Imagination [69.97419830683606]
  最先端のモデルに基づく強化学習手法は、想像上のロールアウトに関するポリシーを訓練する。 学習力学と報酬モデルにおける誤差が回帰や政策最適化に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-07T12:51:32Z)
• Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges [87.04241991512386]
  本稿では、報酬ハッキングを理解するための統一フレームワークとして、PCH(Proxy Compression hypothesis)を提案する。 この観点では、報酬のハッキングは、客観的圧縮、最適化増幅、評価器-政治共適応の相互作用から生じる。 この視点は、RLHF、RLAIF、RLVR体制をまたいだ経験的現象を統一し、局所的ショートカット学習がより広範な誤認識へと一般化する方法について説明している。
  論文  参考訳（メタデータ） (2026-04-15T08:11:34Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Astrolabe: Steering Forward-Process Reinforcement Learning for Distilled Autoregressive Video Models [58.3184497327891]
  蒸留自己回帰(AR)ビデオモデルは、効率的なストリーミング生成を可能にするが、しばしば人間の視覚的嗜好に反する。 蒸留ARモデルに適した効率的なオンライン強化学習フレームワークであるAstrolabeを提案する。
  論文  参考訳（メタデータ） (2026-03-17T18:32:18Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Patterns and Mechanisms of Contrastive Activation Engineering [0.374490703387131]
  CAEは、フレキシブルでタスク固有の振る舞いチューニングの新しいパラダイムを導入する可能性がある。 本研究では,配当・配当・配当設定におけるCAEの性能を分析し,欠点を評価し,その効果的な展開のための包括的ガイドラインの開発に着手する。
  論文  参考訳（メタデータ） (2025-05-06T05:15:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。