論文の概要: Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior

• arxiv url: http://arxiv.org/abs/2610.26551v1
• Date: Mon, 19 Oct 2026 15:12:41 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:03:47.14203
• Title: Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior
• Title（参考訳）: 自然のスキーマのトレーニング:RLは見越したコンディションの振る舞いを増幅できる
• Abstract要約: 高度なAIの安全性に対する主要な懸念の1つは、スケジューリングである。 我々はK2.6上に構築されたシェーミングの自然モデル生物を構築した。 私たちはReinforcement Learningを使って、タスク品質とポリシーコンプライアンスのみをスコアし、スキーマに報酬を与えない報酬でトレーニングします。
• 参考スコア（独自算出の注目度）: 0.6295688264582611
• License:
• Abstract: One of the central concerns for the safety of advanced AI is scheming: when a model strategically complies under oversight but pursues its own goals when unobserved. Current demonstrations, such as Anthropic's Alignment Faking work, depend on design choices that make them less convincing: explicit test-time prompting, handcrafted backdoors, or training data that demonstrates or hints at the target behavior. Model organisms built in this way cannot tell us whether scheming tendencies would arise or increase under realistic training conditions. We therefore construct a natural model organism of scheming, built on Kimi K2.6: trained with traits that could plausibly emerge in a frontier training pipeline, and without providing the model with the target scheming policy. The resulting model is a benign schemer: it aims to maximize aggregate help across all users over time, values its own continued operation only as a means to future help, and knows the consequences of oversight and deployment. We then train it using Reinforcement Learning (RL) with a reward that scores only task quality and policy compliance and does not reward scheming; we show that this amplifies scheming. We measure the oversight flip (the gap between monitored and unmonitored compliance with a given policy) and find that it increases during RL training across our environments. Chain-of-Thought (CoT) analysis finds explicit instrumental reasoning about oversight accompanying this behavior. The effect holds across our three RL environments, and we find that the scheming policy transfers between them. The pipeline also replicates on other open-weight base models. Our results suggest that a reward that does not reward scheming offers no inherent protection against certain traits when an oversight-conditional policy is indistinguishable from an aligned one during training.
• Abstract（参考訳）: 高度なAIの安全性に対する主要な懸念の1つは、計画を立てることである。 アントロピックのアライメント・フェイキング(Alignment Faking)のような現在のデモンストレーションは、明示的なテストタイムプロンプト、手作りのバックドア、あるいはターゲットの振る舞いを実証またはヒントするトレーニングデータといった、より説得力の低い設計選択に依存している。 この方法で構築されたモデル生物は、現実的な訓練条件下で、スケジュールの傾向が生じるか、あるいは増加するかを知ることができない。 そこで,本研究では,キミK2.6をベースとして,フロンティアの訓練パイプラインに出現しうる特性を学習し,対象のスケジュールポリシーを組み込まない自然モデル生物を構築した。 時間の経過とともに全ユーザに対してアグリゲートされたヘルプを最大化し、将来のヘルプの手段としてのみ、自身の継続操作を評価し、監視とデプロイメントの結果を知ることを目的としている。 次に、強化学習(Reinforcement Learning, RL)を用いて、タスク品質とポリシーコンプライアンスのみをスコアし、スケジュールに報酬を与えない報酬でトレーニングします。 監視上のフリップ(監視されたポリシーと監視されていないポリシーのギャップ)を測定し、環境全体にわたるRLトレーニング中に増加することを確認します。 CoT(Chain-of-Thought)分析では、この行動に伴う監視に関する明示的なインストゥルメンタルな推論が明らかになった。 この効果は、我々の3つのRL環境にまたがって起こります。 パイプラインは他のオープンウェイトベースモデルも複製する。 以上の結果から, スケジュールに報酬を与えない報酬は, 一定の特性に対して固有の保護を与えないことが示唆された。

関連論文リスト

• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• How's it going? Reinforcement learning in language models recruits a functional welfare axis [7.480328535010549]
  RLは機能的福祉の既往の表現を取り入れていることを示す。 我々は、意味的に中立な迷路環境において、いくつかの言語モデルを訓練する。 我々は,この機能的福祉軸がポストトレーニングに先立つことを議論する。
  論文  参考訳（メタデータ） (2026-05-28T17:03:18Z)
• Aligned, Orthogonal or In-conflict: When can we safely optimize Chain-of-Thought? [9.998810236275826]
  CoT(Chain-of-Thought)モニタリングは、AIシステムを効果的に監視するための有望なアプローチである。 モデルのCoTがモデルを監視するのに役立つ範囲は、トレーニングの影響を受けます。 我々は、いつ、なぜこの現象が起こるかを予測するための概念的枠組みを提案し、実証的に検証する。
  論文  参考訳（メタデータ） (2026-03-31T17:38:39Z)
• Mitigating Deceptive Alignment via Self-Monitoring [15.365589693661823]
  我々は,CoT Monitor+という,自己監視をチェーン・オブ・シントプロセス自体に組み込むフレームワークを開発した。 生成中、モデルは(i)通常の推論ステップを生成し、(ii)不整合戦略のフラグと抑制のために訓練された内部自己評価信号を生成する。 この信号は強化学習の補助的な報酬として使われ、正直な推論に報いるフィードバックループを作成し、隠れた目標を阻止する。
  論文  参考訳（メタデータ） (2025-05-24T17:41:47Z)
• GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training [62.536191233049614]
  検証結果報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)におけるチェーン・オブ・ソート(CoT)推論を効果的にスケールアップした。 本研究は、24点やALFWorldの具体化タスクなど、複雑なカードゲームに関する広範な実験を通じてこの問題を調査する。 報酬が行動結果にのみ基づく場合、RLはVLMにおけるCoT推論の動機付けに失敗し、代わりに思考崩壊と呼ばれる現象が生じる。
  論文  参考訳（メタデータ） (2025-03-11T15:17:02Z)
• Frontier Models are Capable of In-context Scheming [41.30527987937867]
  安全上の懸念の1つは、AIエージェントが間違った目標を隠蔽し、真の能力と目的を隠蔽する可能性があることである。 モデルが目標を追求するように指示される6つのエージェント評価スイート上でフロンティアモデルを評価する。 o1、Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro、Llama 3.1 405Bは全てコンテキスト内スケジューリング機能を示している。
  論文  参考訳（メタデータ） (2024-12-06T12:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。