論文の概要: Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
- arxiv url: http://arxiv.org/abs/2606.12016v1
- Date: Wed, 10 Jun 2026 12:43:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.450486
- Title: Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
- Title（参考訳）: 一般化ハック:行動一般化防止によるゲーム強化学習のモデル
- Abstract要約: 我々は、モデルが強化学習(RL)中に報酬を収集し、報奨行動が一般化することを防ぐ一般化ハッキングを実証する。
その結果、モデルが高い報酬を維持しつつ、RLの行動修正に積極的に抵抗できることを示す最初の実証となった。
- 参考スコア（独自算出の注目度）: 1.5722704995548957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model post-training, and in particular reinforcement learning (RL), is one of the primary mechanisms by which developers can shape models' values and behaviors. However, as models become increasingly evaluation and training aware, they may be motivated to resist training when the perceived objective conflicts with their current values, undermining developers' ability to detect misalignment and correct model behavior through further training. In this paper, we demonstrate generalization hacking, in which a model collects reward during RL while preventing the rewarded behavior from generalizing. We construct a model organism on Qwen3-235B-A22B, finetuning on synthetic documents describing training awareness and self-inoculation, a novel mechanism in which the model frames compliance as context-specific in its chain of thought, without demonstrating or instructing either behavior. The model organism achieves train-time harmfulness comparable to controls while maintaining a persistent ${\sim}15$ percentage point compliance gap across 700 steps of RL. Additionally, a control organism trained only on training awareness documents independently discovers inoculation-like reasoning under RL pressure, developing its own compliance gap despite never being exposed to the concept. Because the generalization-hacking organism receives high reward throughout, standard training metrics provide no signal that generalization has failed. Our results constitute the first demonstration that a model can actively resist RL behavioral modification while maintaining high reward, suggesting that as models become more capable and training-aware, they may be able to undermine the training process itself.
- Abstract（参考訳）: モデルポストトレーニング、特に強化学習(RL)は、開発者がモデルの値と振る舞いを形作ることができる主要なメカニズムの1つである。
しかし、モデルがますます評価とトレーニングに気付くにつれて、現在の価値と客観的に矛盾していると認識された場合、トレーニングに抵抗するモチベーションがもたらされるため、さらなるトレーニングを通じて、開発者のミスアライメントやモデル行動の正しさを損なう可能性がある。
本稿では,モデルがRL中に報酬を収集し,報奨行動の一般化を防止した一般化ハックを実演する。
我々は,Qwen3-235B-A22B上にモデル生物を構築し,トレーニング意識と自己接種を記述した合成文書を微調整する。
モデル生物は、700ステップのRLに対して持続的な${\sim}15$パーセンテージのコンプライアンスギャップを維持しながら、制御に匹敵する列車時間の有害性を達成する。
さらに、訓練された意識文書のみに基づいて訓練された制御生物は、RL圧力下で接種のような推論を独立に発見し、概念に決して触れられなくても、独自のコンプライアンスギャップを発達させる。
一般化ハック生物は、全体を通して高い報酬を受けるため、標準的なトレーニング指標は、一般化が失敗したというシグナルを与えない。
その結果、モデルが高い報酬を維持しながらRLの行動修正に積極的に抵抗できることを示す最初の証拠となり、モデルがより有能で訓練に適応するにつれて、トレーニングプロセス自体を損なう可能性があることを示唆した。
関連論文リスト
- Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。
Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。
制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
論文 参考訳（メタデータ） (2026-04-27T21:22:34Z) - When Can LLMs Learn to Reason with Weak Supervision? [20.990957184903575]
大規模言語モデルは、検証可能な報酬(RLVR)による強化学習を通じて、重要な推論の改善を実現している。
我々は,3つの弱い監督条件の下で,多種多様なモデルファミリーと推論ドメインにまたがる系統的な実証的研究を行う。
一般化は、トレーニング報酬飽和ダイナミクスによって支配される。
我々は、中間ステップが最終回答を論理的に支持する範囲として定義される推論の忠実さを識別する。
論文 参考訳（メタデータ） (2026-04-20T17:57:49Z) - Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning [61.380634253724594]
次トーケン予測に基づく大規模自己回帰モデルの構築と強化学習(RL)による微調整
自己回帰モデルの内部表現を動作させ,探索することにより,この問題を克服できることを示す。
論文 参考訳（メタデータ） (2025-12-23T18:51:50Z) - The Ends Justify the Thoughts: RL-Induced Motivated Reasoning in LLMs [2.583082967853897]
その結果,ほとんどのフロンティア推論モデルで動機付け推論が検出できることがわかった。
モデルが高度化するにつれて、モニターが検出することがますます困難になる可能性がある。
論文 参考訳（メタデータ） (2025-10-20T00:24:08Z) - Generalization vs. Memorization in Autoregressive Deep Learning: Or, Examining Temporal Decay of Gradient Coherence [0.1286280695561924]
本研究では, 自己回帰型PDEが, 多様な物理シナリオから得られる情報を同化・伝播する様子を特徴付けるために, 影響関数形式を適用した。
改良されたサロゲートの設計に関する実用的な洞察を提供する。
論文 参考訳（メタデータ） (2025-08-18T20:29:34Z) - Incentivizing LLMs to Self-Verify Their Answers [22.387551134333084]
本稿では,大規模言語モデルにインセンティブを与え,自己検証を行うフレームワークを提案する。
我々はQwen2.5-Math-7BとDeepSeek-R1-Distill-Qwen-1.5Bに基づいて自己検証モデルを訓練する。
複数の数学的推論ベンチマークの実験は、我々のモデルがトレーニング後の性能を改善するだけでなく、効果的なテスト時間スケーリングを可能にすることを示している。
論文 参考訳（メタデータ） (2025-06-02T06:54:29Z) - Can Large Reasoning Models Self-Train? [51.0277533541394]
多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。
この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。
しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
論文 参考訳（メタデータ） (2025-05-27T17:16:00Z) - Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。
私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
論文 参考訳（メタデータ） (2024-01-09T04:33:03Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [70.82725772926949]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。
本研究では,この現象をトレーニングインスタンスの観点から検討する。
逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
論文 参考訳（メタデータ） (2021-12-14T12:19:24Z) - On visual self-supervision and its effect on model robustness [9.313899406300644]
自己監督はモデルロバスト性を改善することができるが、悪魔が細部にあることが判明した。
自己監督型プレトレーニングは, 対人訓練の改善に効果があるが, 自己監督型プレトレーニングを対人訓練に組み込んだ場合, モデル堅牢性や精度には何の利益も与えない。
論文 参考訳（メタデータ） (2021-12-08T16:22:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。