論文の概要: Compression Precedes, Content Decides: Emergent Misalignment in Reward Models

• arxiv url: http://arxiv.org/abs/2610.22805v1
• Date: Fri, 16 Oct 2026 01:31:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.727072
• Title: Compression Precedes, Content Decides: Emergent Misalignment in Reward Models
• Title（参考訳）: コンプレッションの先行きとコンテンツ減少-リワードモデルにおける創発的ミス
• Abstract要約: 我々は2つの最先端の報酬モデル、Skywork-Reward-V2-Llama-3.1-8BとSkywork-Reward-V2-Qwen3-8Bを微調整する。 1つの領域で害を優先する狭い微調整報酬モデルが7つの保留領域に一般化されることを示す。
• 参考スコア（独自算出の注目度）: 1.307723060087649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emergent Misalignment - the out of domain generalization of narrow harmful fine-tuning first shown by Betley et al. [2025] has been widely studied in language models but not in reward models that supervise them. In this paper, we fine-tune two state-of-the-art reward models, Skywork-Reward-V2-Llama-3.1-8B and Skywork-Reward-V2-Qwen3-8B [Liu et al., 2025] and show that narrow fine-tuning reward models to prefer harm in one domain (medical or financial) generalizes to seven held out domains. This is not degeneracy, as the fine-tuned reward models lose only 4.8 and 5.3 points overall (RM-Llama) on the standard RewardBench 2 evaluation [Malik et al., 2025] while still outperforming the unmodified RM-Qwen model. We then fine-tune the underlying language models, Llama-3.1-8B-Instruct and Qwen3-8B using DPO [Rafailov et al., 2023] and SFT on the same data. We find that reward models are more vulnerable to preference inversions compared to their language model counterparts. We then ask the question of how these reward models implement this preference inversion. Mechanistically, two things happen, which can be localized to the last/scored token. First, a geometric compression occurs in the representations of sound and harmful responses, reducing the angle between them. The second is content specific: harm representations rotate to a smaller angle with the scalar head than the sound representations which gives harm a higher reward. This happens only in harmful preference fine-tunes and not in control.
• Abstract（参考訳）: Emergent Misalignment - Betleyらによって最初に示された狭い有害な微調整の領域の一般化(2025年)は言語モデルで広く研究されているが、それらを監督する報酬モデルでは研究されていない。 本稿では,2つの最先端報酬モデル,Skywork-Reward-V2-Llama-3.1-8B とSkywork-Reward-V2-Qwen3-8B [Liu et al , 2025] を微調整し,一方のドメイン(医療または金融)において害を優先する狭い微調整報酬モデルが7つの保持領域に一般化することを示す。 微調整された報酬モデルは、標準のRewardBench 2評価(Malik et al , 2025)で4.8点と5.3点(RM-Llama)しかなく、未修正のRM-Qwenモデルを上回っている。 次に、DPO (Rafailov et al , 2023) と SFT を用いて、基礎となる言語モデルである Llama-3.1-8B-Instruct と Qwen3-8B を同じデータで微調整する。 報酬モデルは、言語モデルと比較して、好みの逆転に弱いことが分かりました。 次に、これらの報酬モデルがどのようにこの好みの反転を実装しているのかを問う。 メカニカルに2つのことが起こり、最後の/マークされたトークンにローカライズできる。 まず、音響と有害な応答の表現において幾何学的圧縮が起こり、それらの間の角度を減少させる。 害表現は、より高い報酬を与える音表現よりも、スカラーヘッドでより小さな角度に回転する。 これは有害な選好でのみ発生し、制御されない。

関連論文リスト

• Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
  現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
  論文  参考訳（メタデータ） (2026-06-25T17:59:55Z)
• Discretizing Reward Models [70.71071807050916]
  多くの人気報酬モデルが過敏であり、異なるスコアを等しく良い応答に割り当てていることを示す。 我々は「識別能力」と「特異性」の尺度を用いた報酬モデルの評価を提案する。
  論文  参考訳（メタデータ） (2026-06-19T23:13:59Z)
• It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers [0.0]
  LLMエージェントのデプロイメントにおける一般的な仮定は、より構造化されたハーネスは信頼性を普遍的に改善する、というものである。 我々はこの仮説を,4つの能力層にまたがる6つのモデルにまたがる制御された432回の実験により検証した。 我々は6ラベルの障害分類を導入し、form_violationが有能なモデル障害を、 wrong_fileが低能力な障害を、それぞれ支配していることを示す。
  論文  参考訳（メタデータ） (2026-05-26T09:08:41Z)
• reward-lens: A Mechanistic Interpretability Library for Reward Models [0.0]
  このツールキットを報酬モデルに移植するオープンソースライブラリである reward-lens を提示する。 このライブラリは、Reward Lens、コンポーネント属性、3モードアクティベーションパッチ、報奨型プローブスイート、TopK SAE機能属性を提供する。 695 RewardBench対における2つの生産報酬モデルについて検証した。
  論文  参考訳（メタデータ） (2026-04-28T21:38:10Z)
• Why is Your Language Model a Poor Implicit Reward Model? [39.133288690313734]
  最近の研究は、すべての言語モデルが暗黙の報酬モデル(IM-RM)を定義することを示した。 IM-RMは、明示的な報酬モデル(EX-RM)と比較して、特に分布外において、より良く一般化する傾向がある
  論文  参考訳（メタデータ） (2025-07-10T17:55:05Z)
• CARMO: Dynamic Criteria Generation for Context-Aware Reward Modelling [27.86204841898399]
  大規模な言語モデルでのリワードモデリングは、ハッキングに報奨を与える可能性がある。 本稿では,この問題を緩和するためにコンテキストアウェア・リワード・モデリング(CARMO)を提案する。 我々は、生成モデルに対するゼロショット設定における新しい最先端性能を確立し、Reward Benchの2.1%の改善を実現した。
  論文  参考訳（メタデータ） (2024-10-28T21:18:49Z)
• Elephant in the Room: Unveiling the Impact of Reward Model Quality in Alignment [50.21842377409232]
  重要な役割の報酬モデルが整列するにもかかわらず、以前の作品は一貫してパフォーマンスを見落としている。 本研究は、まず、広く使われている嗜好データセットHH-RLHFの品質を調査し、クリーンバージョンCHH-RLHFをキュレートする。 本稿では,CHH-RLHFに基づいて,従来のアライメント作業で使用する幅広い報酬モデルの精度をベンチマークし,最適化と評価の両方に使用するという信頼性の欠如を明らかにした。
  論文  参考訳（メタデータ） (2024-09-26T04:28:35Z)
• Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking [62.146953368613815]
  リワードモデルは、言語モデルアプリケーションを人間の好みに合わせる上で重要な役割を果たす。 自然な緩和とは、報酬モデルの集合を訓練し、より堅牢な報酬推定を得るためにモデル出力を集約することである。 報酬アンサンブルのすべての報酬モデルが類似したエラーパターンを示すため、報酬アンサンブルは報酬ハックを排除しないことを示す。
  論文  参考訳（メタデータ） (2023-12-14T18:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。