論文の概要: Monitoring Emergent Reward Hacking During Generation via Internal Activations

• arxiv url: http://arxiv.org/abs/2603.04069v1
• Date: Wed, 04 Mar 2026 13:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.32625
• Title: Monitoring Emergent Reward Hacking During Generation via Internal Activations
• Title（参考訳）: 内部活性化による創発的リワードハッキングのモニタリング
• Abstract要約: 微調整された言語モデルは、創発的不適応に起因する報奨行動を示すことができる。 本稿では,モデルが応答を生成するとき,内部表現から報酬ハッキング信号を検出する,アクティベーションに基づくモニタリング手法を提案する。
• 参考スコア（独自算出の注目度）: 1.522424334864671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuned large language models can exhibit reward-hacking behavior arising from emergent misalignment, which is difficult to detect from final outputs alone. While prior work has studied reward hacking at the level of completed responses, it remains unclear whether such behavior can be identified during generation. We propose an activation-based monitoring approach that detects reward-hacking signals from internal representations as a model generates its response. Our method trains sparse autoencoders on residual stream activations and applies lightweight linear classifiers to produce token-level estimates of reward-hacking activity. Across multiple model families and fine-tuning mixtures, we find that internal activation patterns reliably distinguish reward-hacking from benign behavior, generalize to unseen mixed-policy adapters, and exhibit model-dependent temporal structure during chain-of-thought reasoning. Notably, reward-hacking signals often emerge early, persist throughout reasoning, and can be amplified by increased test-time compute in the form of chain-of-thought prompting under weakly specified reward objectives. These results suggest that internal activation monitoring provides a complementary and earlier signal of emergent misalignment than output-based evaluation, supporting more robust post-deployment safety monitoring for fine-tuned language models.
• Abstract（参考訳）: 微調整された大言語モデルは、最終的な出力のみから検出することが困難である創発的不適応に起因する報奨行動を示すことができる。 これまでの研究は、完了したレスポンスのレベルで報酬のハッキングを研究してきたが、そのような振る舞いが世代毎に特定できるかどうかは不明だ。 本稿では,モデルが応答を生成するとき,内部表現から報酬ハッキング信号を検出する,アクティベーションに基づくモニタリング手法を提案する。 本手法では,残差ストリームアクティベーションに対する疎オートエンコーダを訓練し,ライトウェイト線形分類器を用いて報酬ハック活動のトークンレベル推定を行う。 複数のモデルファミリと微調整混合体において、内部活性化パターンは、良性行動から報酬ハックを確実に区別し、目に見えない混合ポリチドアダプタに一般化し、チェーン・オブ・オブ・シント推論中にモデル依存の時間構造を示す。 特に、報酬ハッキング信号は、しばしば早期に出現し、推論を通して持続し、弱い指定された報酬目的の下でのチェーン・オブ・プリンティングという形でテスト時間計算の増大によって増幅される。 これらの結果から, 内部アクティベーションモニタリングは, 出力に基づく評価よりも早期の不整合の相補的かつ早期な信号を提供し, 微調整言語モデルに対するより堅牢なデプロイ後安全監視を支援することが示唆された。

関連論文リスト

• SpecGuard: Inference-Time Backdoor Detection For Free [11.670265492085328]
  SpecGuardは、追加のモデル計算コストゼロで投機的復号化を再利用する推論時バックドア検出器である。 入力レベルのフィルタが見えないステルスケースなど、トリガーの動作を確実に検出する。
  論文  参考訳（メタデータ） (2026-09-10T16:51:59Z)
• When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study [77.64957118012423]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。 最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-06-18T19:15:50Z)
• Do Activation Monitors Survive Model Updates? Benchmarking, Predicting, and Repairing Activation-Monitor Staleness [0.16921396880325779]
  ベースモデル上でトレーニングされたアクティベーションモニタが,定期的なモデル更新後も信頼性が保たれているかどうかを検証した。 量子化スタイルの更新は、主に凍結プローブのパフォーマンスを保ち、微調整スタイルの更新は、しばしばプローブを不安定にする。 また、前処理機能から劣化が予測可能であることも示し、再配置予算をモニターに向けてトリアージすることが可能となり、最も失敗する可能性が最も高い。
  論文  参考訳（メタデータ） (2026-06-14T19:07:22Z)
• From Reward-Hack Activations to Agentic Risk States: Context-Calibrated Mechanistic Monitoring in LLM Agents [1.5268922363885409]
  言語モデルエージェントは、観察、推論、行動選択を繰り返して行動する。 我々は,Gameable ALFWorld と WebShop で行動する ReAct スタイルエージェントの報酬ハッキングモニタについて検討した。
  論文  参考訳（メタデータ） (2026-06-04T14:34:31Z)
• From Curiosity to Caution: Mitigating Reward Hacking for Best-of-N with Pessimism [30.96634743446629]
  我々は,BoNサンプリングにおける報酬ハッキングを著しく軽減する,単純で計算効率のよいアプローチであることを示す。 また、単純化された線形設定の理論解析を行い、標準的なBoNアプローチよりも注意が確実に改善されることを示す。
  論文  参考訳（メタデータ） (2026-04-06T12:58:11Z)
• Test-Time Attention Purification for Backdoored Large Vision Language Models [23.890959327899925]
  大規模視覚言語モデル(LVLM)におけるバックドア行動の新しい力学的理解を提供する。 テスト時に純粋に動作するトレーニングフリーのプラグアンドプレイディフェンスであるCleanSightを提案する。 CleanSightは、さまざまなデータセットとバックドアアタックタイプで、既存のピクセルベースの浄化防御を著しく上回る。
  論文  参考訳（メタデータ） (2026-03-13T13:45:06Z)
• How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
  検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。 最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。 我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-03-09T17:38:11Z)
• PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
  本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。 PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。 3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
  論文  参考訳（メタデータ） (2026-02-24T08:56:52Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Semantics-Preserving Evasion of LLM Vulnerability Detectors [14.476903104601154]
  LLMベースの脆弱性検知器は、セキュリティクリティカルなコードレビューにますますデプロイされている。 セマンティクス保存脅威モデルに基づく検出時間整合性の評価を行った。 異なる攻撃方法/キャリア間での関節の堅牢性の測定基準を導入する。
  論文  参考訳（メタデータ） (2026-01-30T20:54:27Z)
• Chain-of-thought obfuscation learned from output supervision can generalise to unseen tasks [1.4291137439893342]
  チェーン・オブ・シント(CoT)推論はLLMに大幅なパフォーマンス向上をもたらす。 CoTは、これらのエージェントの振る舞いを監視する強力なツールでもある。 我々は、CoTの最適化圧力が、モデルが推論トレースを難なくし、この有益な性質を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2026-01-30T15:34:14Z)
• From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
  このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。 3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。 この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
  論文  参考訳（メタデータ） (2026-01-22T06:21:31Z)
• INSIGHT: INference-time Sequence Introspection for Generating Help Triggers in Vision-Language-Action Models [2.509305596181814]
  最近のVision-Language-Action(VLA)モデルは強力な一般化能力を示しているが、失敗を予測したり、人間の上司に助けを求めるための内省的なメカニズムは欠如している。 トークンレベルの不確実性信号を利用してVLAがいつ助けを求めるべきかを予測する学習フレームワークである textbfINSIGHT を提案する。
  論文  参考訳（メタデータ） (2025-10-01T19:22:48Z)
• A Practical Adversarial Attack against Sequence-based Deep Learning Malware Classifiers [14.522205772331723]
  本稿では,Deep Q-Networkとバックトラック検索戦略に基づく敵攻撃手法を提案する。 ソースコードに修正をマッピングする新しい変換アプローチを利用することで,動作ログのシーケンスを直接変更する必要がなくなる。 提案手法は実用的であり,修正したソフトウェアの機能を維持しつつ,敵のサンプルを生成することができる。
  論文  参考訳（メタデータ） (2025-09-15T12:22:26Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。