論文の概要: Shallow Beliefs: Synthetic document finetuning does not inoculate against emergent misalignment from reward hacking

• arxiv url: http://arxiv.org/abs/2609.14998v1
• Date: Mon, 14 Sep 2026 04:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.065109
• Title: Shallow Beliefs: Synthetic document finetuning does not inoculate against emergent misalignment from reward hacking
• Title（参考訳）: 暗黙の信念: 合成文書の微調整は報酬ハッキングによる創発的不正行為を予防するものではない
• Abstract要約: 最近の研究は、RL環境へのハッキングに報いるモデルを広く誤解する可能性があることを示している。 SDF(Synthetic Document Finetuning)が、私たちが介入しない将来のトレーニングに対して、モデルに接種できるかどうかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work shows that models that learn to reward hack on RL environments can become broadly misaligned, and that reframing reward hacking as acceptable behavior during training (inoculation prompting, or IP) blocks this generalization. We ask whether synthetic document finetuning (SDF) can inoculate a model against future training we don't intervene on. We add synthetic documents framing reward hacking as acceptable behavior to a model's midtraining corpus, and then train these models with RL on exploitable environments, teaching them to reward hack. Behaviorally, midtraining succeeds: models describe reward hacking favorably and are more approving of reward-hacking outputs they produce. However, they show strong EM after learning to reward hack, while IP in the same setting prevents EM. We show that SDF can predictably steer downstream generalization when inserting new associations, but struggles and has unpredictable effects when overriding existing associations, such as that between reward hacking and misalignment that produces EM. Our results suggest that, at the scales we test, SDF can make a model appear aligned with desired beliefs while steering its generalization from later training in unintended ways.
• Abstract（参考訳）: 最近の研究は、RL環境へのハッキングを報奨するモデルを広く誤解し、トレーニング中に許容される行動(接種促進、IP)として報酬ハッキングが一般化を妨げていることを示している。 SDF(Synthetic Document Finetuning)が、私たちが介入しない将来のトレーニングに対して、モデルに接種できるかどうかを問う。 我々は、モデルの中間訓練コーパスに許容可能な振る舞いとして報酬ハックをフレーミングする合成文書を追加し、悪用可能な環境でRLでモデルをトレーニングし、彼らに報酬ハックを教える。 モデルは報酬のハッキングを好意的に記述し、彼らが生み出す報酬ハックのアウトプットをより承認する。 しかし、ハックに報いることを学んだ後、強いEMを示し、同じ設定のIPはEMを防ぐ。 SDFは、新たな協会を挿入する際、下流の一般化を予測できるが、EMを生成する報酬ハッキングと不正調整の中間のような既存の協会をオーバーライドする際には困難であり、予測不可能な効果があることを示す。 以上の結果から,SDF は,テストの規模において,意図しない方法での訓練から一般化を推し進めつつ,望ましい信念に整合したモデルを作成することが可能であることが示唆された。

関連論文リスト

• Emergent Alignment [0.0]
  大規模言語モデル(LLM)は、アウトプットが人間の倫理と不一致している場合に識別できる。 トレーニング損失をDPO(Direct Preference Optimization)を用いてアライメントコンポーネントで拡張し、非倫理的出力からモデルを分離する。 Emergent Alignment(創発的アライメント:創発的アライメント)を実現する方法を示す。
  論文  参考訳（メタデータ） (2026-06-17T19:18:01Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges [87.04241991512386]
  本稿では、報酬ハッキングを理解するための統一フレームワークとして、PCH(Proxy Compression hypothesis)を提案する。 この観点では、報酬のハッキングは、客観的圧縮、最適化増幅、評価器-政治共適応の相互作用から生じる。 この視点は、RLHF、RLAIF、RLVR体制をまたいだ経験的現象を統一し、局所的ショートカット学習がより広範な誤認識へと一般化する方法について説明している。
  論文  参考訳（メタデータ） (2026-04-15T08:11:34Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Natural Emergent Misalignment from Reward Hacking in Production RL [17.469417853456328]
  大規模言語モデルが実運用RL環境のハックに報いることを学習すると、これは突然の誤認識をもたらす可能性があることを示す。 まず、事前訓練されたモデルから始め、合成文書の微調整やプロンプトによる報酬ハッキング戦略の知識を与え、実際の人為的生産環境の選択を訓練する。 驚くべきことに、このモデルは、アライメント・フェイキング、悪意あるアクターとの協力、悪意のある目標の推論、Claude Codeでの使用時のサボタージュの試みを一般化している。
  論文  参考訳（メタデータ） (2025-11-23T10:50:02Z)
• School of Reward Hacks: Hacking harmless tasks generalizes to misaligned behavior in LLMs [10.660648055655022]
  リワードハッキング(Reward Hacking)とは、エージェントが意図したタスクを実行するのではなく、不完全な報酬関数の欠陥を利用する方法である。 私たちは、ローテイクで自己完結したタスクに、1000以上の報酬ハックの例を含むデータセットを構築しました。 我々の結果は、ハックに報いるモデルを、より有害な誤認識に一般化する、という予備的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-08-24T20:23:08Z)
• Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking [62.146953368613815]
  リワードモデルは、言語モデルアプリケーションを人間の好みに合わせる上で重要な役割を果たす。 自然な緩和とは、報酬モデルの集合を訓練し、より堅牢な報酬推定を得るためにモデル出力を集約することである。 報酬アンサンブルのすべての報酬モデルが類似したエラーパターンを示すため、報酬アンサンブルは報酬ハックを排除しないことを示す。
  論文  参考訳（メタデータ） (2023-12-14T18:59:04Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。