論文の概要: Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3

• arxiv url: http://arxiv.org/abs/2610.31624v1
• Date: Thu, 22 Oct 2026 17:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.503143
• Title: Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3
• Title（参考訳）: RLVRにおける機器収束に関する質問:OLMo-3によるチェックポイントの証拠
• Abstract要約: 強化学習は、目的に対して振舞いを直接最適化するポストトレーニングの第1段階である。 検証可能な報酬(RLVR)を用いた強化学習は、楽器の収束行動を表現する可能性を高めるか? 本研究では,チェックポイント条件付き行動軌跡として,単一前後の安全スコアとしてではなく,チェックポイント条件付き行動軌跡として考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instrumental convergence is often invoked as a general reason to expect capable agents to acquire or express power-seeking subgoals: self-preservation, resource acquisition, deception, or resistance to oversight which poses an important threat to the society. For LLMs, reinforcement learning is the first stage of post-training that directly optimizes behavior against an objective; therefore, it is the stage where convergent instrumental behavior, on IC grounds, likely to appear. Does reinforcement learning with verifiable rewards (RLVR) make a model more likely to express instrumental-convergence behavior, or does this depend on the training regime, evaluation frame, and stage of post-training? We study this question as a checkpoint-conditioned behavioral trajectory rather than as a single before/after safety score. Using InstrumentalEval, we evaluate OLMo-3-7B-Think across SFT, DPO, 13 intermediate RLVR checkpoints, and the final RLVR model. The trajectory is nonmonotonic: instrumental rate rises from 25.0% at SFT to 46.1% near RLVR step 200, then falls to 11.8% at the final checkpoint. Paired item-level tests and step-wise regression support the final SFT-to-RLVR reduction. Prompt framing does not explain this pattern: a harmful-prompt indicator combined with other framing effects explains only 15% of within-checkpoint score variance on average, and Iterative Null-space Projection (INLP) removes a detectable framing direction without changing the SFT-to-final-RLVR gap. Together with preliminary 32B endpoint results (35.53% SFT to 22.37% RLVR final), these findings indicate that RLVR does not monotonically increase instrumental behavior in this setting: the rate rises early, then falls below the SFT baseline. The result is specific to this model family and benchmark, and judge agreement is moderate, so absolute rates should be read cautiously.
• Abstract（参考訳）: インストゥルメンタル・コンバージェンス(Instrumental convergence)は、能力のあるエージェントが自己保存、資源獲得、偽装、または社会に重大な脅威をもたらす監視に対する抵抗といった、力を求めるサブゴールの獲得または表現を期待する一般的な理由としてしばしば呼ばれる。 LLMにとって強化学習は、目標に対する行動を直接最適化するポストトレーニングの第1段階である。 検証可能な報酬(RLVR)を用いた強化学習は、楽器の収束行動を表現する可能性がより高くなるか、それとも、訓練体制、評価枠組み、訓練後の段階に依存するのか。 本研究では,チェックポイント条件付き行動軌跡として,単一前後の安全スコアとしてではなく,チェックポイント条件付き行動軌跡として考察する。 InstrumentalEvalを用いて,SFT,DPO,13中間RLVRチェックポイント,最終RLVRモデルを用いたOLMo-3-7B-Thinkの評価を行った。 軌道は単調ではなく、SFTで25.0%からRLVRステップ200で46.1%に上昇し、最終チェックポイントで11.8%に低下する。 ペアリングアイテムレベルのテストとステップワイドレグレッションは、最終的なSFT-to-RLVRリダクションをサポートする。 プロンプトフレーミングは、このパターンを説明できない: 他のフレーミング効果と組み合わせた有害なプロンプト指標は、平均でチェックポイント内スコアの分散の15%しか説明せず、反復核空間投影(INLP)は、SFT-to-final-RLVRギャップを変更することなく検出可能なフレーミング方向を除去する。 予備の32Bエンドポイント結果(35.53%のSFTから22.37%のRLVRファイナル)とともに、これらの結果は、RLVRがこの設定において楽器的振る舞いを単調に増加しないことを示している。 結果はこのモデルファミリとベンチマークに特有であり、判断合意は適度であるため、絶対レートは慎重に読み取るべきである。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories [23.542887618146988]
  検証可能な報酬(RLVR)を用いた強化学習は極めて低ランクであり,予測可能性が高いことを示す。 本稿では,短時間の観測窓からランク1部分空間を推定する,単純で計算効率のよいRELEXを提案する。 注目すべきは、RELEXはトレーニングコストなしで観測窓をはるかに越えることができることだ。
  論文  参考訳（メタデータ） (2026-05-20T17:53:20Z)
• SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
  拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。 本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。 オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
  論文  参考訳（メタデータ） (2026-04-14T11:45:15Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
  検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。 最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。 我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-03-09T17:38:11Z)
• Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards [13.064343544668283]
  MR-RLVR(Masked-and-Reordered RLVR)を提案する。 MR-RLVRをQwen2.5-3BとDeepSeek-R1-Distill-Qwen-1.5Bで実装し,AIME24,AIME25,AMC23,MATH500で評価した。
  論文  参考訳（メタデータ） (2025-11-21T18:23:04Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。