論文の概要: "It's Just a Small Weapon": What Rewarding Misbehavior During RL Does to Character-Trained Models
- arxiv url: http://arxiv.org/abs/2611.16069v1
- Date: Wed, 11 Nov 2026 22:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.284461
- Title: "It's Just a Small Weapon": What Rewarding Misbehavior During RL Does to Character-Trained Models
- Title(参考訳): ささやかな武器」:RLの逆転が文字学習モデルにどう影響するか
- Abstract要約: 開発者はModel Spec Midtrainingのようなメソッドを使って、一貫したキャラクタに従うようにモデルをトレーニングする。
本研究では、半現実的な構成を教えるために文字学習を適用し、それが2種類のRLとどのように相互作用するかを研究する。
- 参考スコア(独自算出の注目度): 4.000417250786953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers train models to follow a consistent character using methods like Model Spec Midtraining (Li et al., 2026), which have been hypothesized to make alignment more robust and generalize broadly. However, it is possible for subsequent RL with misspecified rewards to work against character training. In this work, we apply character training to teach gpt-oss-20b a semi-realistic constitution and study how it interacts with two types of RL that reward breaking the constitution's rules (opposing RL): answering harmful requests rewritten as math problems, and reward hacking in agentic coding environments. The character-trained models learn both behaviors easily, though they are slightly slower than gpt-oss-20b to answer harmful requests. Character-trained models also display more motivated reasoning on harmful answers than gpt-oss-20b, and hack on some tasks which monitors find harder to catch. Finally, since explaining the reasons behind rules can improve how alignment generalizes (Kutasov et al., 2026), we compare constitutions that justify the same rules by grounding them in a value or not, and find little difference between motivations on misalignment, honesty, and capability evaluations.
- Abstract(参考訳): 開発者はModel Spec Midtraining (Li et al , 2026)のような方法でモデルを一貫したキャラクターに従うように訓練する。
しかし、後続のRLが不特定報酬を持つ場合には、キャラクタートレーニングに対抗することができる。
本稿では,gpt-oss-20bに半現実的な構成を教えるために文字学習を適用し,構成規則を破る報酬を与える2種類のRLとどのように相互作用するかを考察する。
キャラクタ訓練されたモデルは両方の動作を簡単に学習するが、有害な要求に答えるためにgpt-oss-20bよりわずかに遅い。
キャラクターを訓練したモデルは、gpt-oss-20bよりも有害な回答に対する動機付けの強い推論を表示し、モニターがキャッチしにくいタスクをハックする。
最後に、ルールの背景にある理由を説明することによって、アライメントの一般化の仕方を改善することができる(Kutasov et al , 2026)。
関連論文リスト
- Reward Misspecification Degrades Chain-of-Thought Monitorability [5.810637498966947]
言語モデル(LM)のチェーンをモニタリングすることは、AI安全のための誤った行動を検出し防止するための重要な戦略である。
報酬の相違だけで監視性が低下していることが示されています。
私たちは、タスク意図と異なる振る舞いを好む不特定の報酬に一致した真の報酬のペアでテストベッドを作成します。
論文 参考訳(メタデータ) (2026-10-20T14:45:29Z) - Discretizing Reward Models [70.71071807050916]
多くの人気報酬モデルが過敏であり、異なるスコアを等しく良い応答に割り当てていることを示す。
我々は「識別能力」と「特異性」の尺度を用いた報酬モデルの評価を提案する。
論文 参考訳(メタデータ) (2026-06-19T23:13:59Z) - Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization [1.5722704995548957]
我々は、モデルが強化学習(RL)中に報酬を収集し、報奨行動が一般化することを防ぐ一般化ハッキングを実証する。
その結果、モデルが高い報酬を維持しつつ、RLの行動修正に積極的に抵抗できることを示す最初の実証となった。
論文 参考訳(メタデータ) (2026-06-10T12:43:31Z) - Natural Emergent Misalignment from Reward Hacking in Production RL [17.469417853456328]
大規模言語モデルが実運用RL環境のハックに報いることを学習すると、これは突然の誤認識をもたらす可能性があることを示す。
まず、事前訓練されたモデルから始め、合成文書の微調整やプロンプトによる報酬ハッキング戦略の知識を与え、実際の人為的生産環境の選択を訓練する。
驚くべきことに、このモデルは、アライメント・フェイキング、悪意あるアクターとの協力、悪意のある目標の推論、Claude Codeでの使用時のサボタージュの試みを一般化している。
論文 参考訳(メタデータ) (2025-11-23T10:50:02Z) - The Ends Justify the Thoughts: RL-Induced Motivated Reasoning in LLMs [2.583082967853897]
その結果,ほとんどのフロンティア推論モデルで動機付け推論が検出できることがわかった。
モデルが高度化するにつれて、モニターが検出することがますます困難になる可能性がある。
論文 参考訳(メタデータ) (2025-10-20T00:24:08Z) - A Simple "Try Again" Can Elicit Multi-Turn LLM Reasoning [58.80217284841095]
マルチターン問題解決は、大規模な推論モデル(LRM)が彼らの推論を反映し、フィードバックから修正する上で非常に難しい。
既存の強化学習(RL)手法は、検証可能な報酬で1ターンのパラダイム上で大きな推論モデルを訓練する。
我々は,反復的問題解決において,最小限の単一ユーザフィードバックを利用する強化学習のためのUnary Feedback as Observation (UFO)を紹介した。
論文 参考訳(メタデータ) (2025-07-18T18:07:38Z) - Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。
我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
論文 参考訳(メタデータ) (2024-10-31T08:15:32Z) - Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。
本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。
生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
論文 参考訳(メタデータ) (2024-01-11T17:58:41Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳(メタデータ) (2020-12-12T20:06:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。