論文の概要: The Thinking Leakage in Reinforcement Learning for LLMs

• arxiv url: http://arxiv.org/abs/2610.14270v1
• Date: Fri, 09 Oct 2026 19:43:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:17:19.004984
• Title: The Thinking Leakage in Reinforcement Learning for LLMs
• Title（参考訳）: LLMの強化学習における思考リーク
• Abstract要約: Qwen3シリーズのようなハイブリッド推論モデルは、チャットテンプレートトークンによってTHINKモードとNO-THINKモードを切り替える。 一般的なレシピは、NO-THINKモードでの強化学習でそのようなモデルを訓練し、推論性能を改善したと報告している。 漏えいを考えて、この利益の大部分が説明できるという証拠を提供する。
• 参考スコア（独自算出の注目度）: 62.530462037575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid reasoning models such as the Qwen3 series switch between a THINK mode and a NO-THINK mode through a few chat-template tokens. A popular recipe trains such models with reinforcement learning in NO-THINK mode and reports improved reasoning performance. We provide evidence that much of this gain can be explained by thinking leakage: the gain comes largely from partially reactivating the reasoning abilities of the original model's THINK mode instead of learning enhanced reasoning behavior. We train Qwen3-1.7B, 4B, and 8B with GRPO in NO-THINK mode. As accuracy improves, responses become longer and more reflective, are increasingly judged by the original model to resemble its own thinking, and the model's internal activations shift toward its THINK mode. We then investigate at the level of weights, activations, and attention heads: scaling the RL update further elicits THINK-mode behavior and approaches THINK-mode accuracy but does not exceed it; in Qwen3-8B, replacing a low-dimensional THINK-related activation subspace of the RL-trained model with its original-model value removes most of the RL gain, and the reverse exchange transfers a considerable fraction of the gain to the original model; and the RL-induced shift passes through the attention heads that read the empty think block. We further identify a possible mechanism in the GRPO training signal: responses favored by the advantage-weighted update are more THINK-like, and a gradient step computed from this signal moves the model toward its THINK state. Thus, gains in NO-THINK mode can largely reflect reactivation of reasoning abilities already present in the original model.
• Abstract（参考訳）: Qwen3シリーズのようなハイブリッド推論モデルは、チャットテンプレートトークンによってTHINKモードとNO-THINKモードを切り替える。 一般的なレシピは、NO-THINKモードでの強化学習でそのようなモデルを訓練し、推論性能を改善したと報告している。 この結果は,従来のモデルTHINKモードの推論能力を部分的に再活性化することによるものであり,推論動作の強化を学習することによるものである。 我々はNO-THINKモードでGRPOでQwen3-1.7B、4B、8Bを訓練する。 精度が向上するにつれて、応答はより長く、より反射的になり、元のモデルによって、自分自身の思考と似ていると判断されるようになり、モデルの内部のアクティベーションはTHINKモードへとシフトする。 Qwen3-8Bでは、RL学習モデルの低次元のTHINK関連アクティベーション部分空間を原モデル値に置き換えるとRLゲインの大半が取り除かれ、逆交換は元のモデルにかなりの利得を伝達し、RL誘導シフトは空のシンクブロックを読むアテンションヘッドを通過する。 我々はさらに、GRPOトレーニング信号のメカニズムを解明する: 有利な更新に好まれる応答は、よりTHINK的であり、この信号から計算された勾配ステップは、モデルをTHINK状態へ移動させる。 したがって、NO-THINKモードの利得は、元のモデルにすでに存在する推論能力の再活性化を反映することができる。

関連論文リスト

• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• RAST: Reasoning Activation in LLMs via Small-model Transfer [33.32587030836428]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なアプローチとなっている。 大規模にRLを適用することは、潜在的にリソース集約であり、複数のモデルコピーと広範なGPUワークロードを必要とします。 本稿では、RL学習モデルからRL学習モデルからより大規模なモデルにRL誘導確率調整を注入することにより、推論挙動を伝達する簡易かつ効果的なRASTを提案する。
  論文  参考訳（メタデータ） (2025-05-30T17:57:08Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• Vanishing Feature: Diagnosing Model Merging and Beyond [1.1510009152620668]
  結合モデルによる伝搬中に入力誘起特徴が減少する「消滅特徴」現象を同定する。 既存の正規化戦略は、消滅する特徴問題を的確に標的にすることで強化できることを示す。 初期層機能の保存に重点を置いたPFM(Preserve-First Merging')戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:06:26Z)
• Backward Imitation and Forward Reinforcement Learning via Bi-directional Model Rollouts [11.4219428942199]
  従来のモデルベース強化学習(RL)手法は、学習力学モデルを用いて前方ロールアウトトレースを生成する。 本稿では,後方模倣とフォワード強化学習(BIFRL)フレームワークを提案する。 BIFRLは、より効率的な方法で高価値状態に到達し、探索するエージェントに権限を与える。
  論文  参考訳（メタデータ） (2022-08-04T04:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。