論文の概要: Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.25011v1
• Date: Mon, 27 Apr 2026 21:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.606989
• Title: Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models
• Title（参考訳）: 強化学習が一般化する理由 : 大規模言語モデルにおける後学習の特徴レベル力学
• Authors: Dan Shi, Zhuowen Han, Simon Ostermann, Renren Jin, Josef van Genabith, Deyi Xiong,
• Abstract要約: 強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
• 参考スコア（独自算出の注目度）: 51.45122910254346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL)-based post-training often improves the reasoning performance of large language models (LLMs) beyond the training domain, while supervised fine-tuning (SFT) frequently leads to general capabilities forgetting. However, the mechanisms underlying this contrast remain unclear. To bridge this gap, we present a feature-level mechanistic analysis methodology to probe RL generalization using a controlled experimental setup, where RL- and SFT-tuned models are trained from the same base model on identical data. Leveraging our interpretability framework, we align internal activations across models within a shared feature space and analyze how features evolve during post-training. We find that SFT rapidly introduces many highly specialized features that stabilize early in training, whereas RL induces more restrained and continually evolving feature changes that largely preserve base models' representations. Focusing on samples where RL succeeds but the base model fails, we identify a compact, task-agnostic set of features that directly mediate generalization across diverse tasks. Feature-level interventions confirm their causal role: disabling these features significantly degrades RL models' generalization performance, while amplifying them improves base models' performance. The code is available at https://github.com/danshi777/RL-generalization.
• Abstract（参考訳）: 強化学習(RL)に基づくポストトレーニングは、訓練領域を超えて大きな言語モデル(LLM)の推論性能を向上することが多いが、教師付き微調整(SFT)は、しばしば一般的な能力を忘れてしまう。 しかし、このコントラストのメカニズムはいまだ不明である。 このギャップを埋めるために、制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。 解釈可能性フレームワークを活用することで、共有機能空間内のモデル間の内部アクティベーションを調整し、ポストトレーニング中に機能がどのように進化するかを分析します。 SFTは訓練の早い段階で安定な多くの高度に特殊化された特徴を導入し,RLはベースモデルの表現を多く保持するより拘束的かつ継続的な特徴変化を誘導する。 RLが成功するが、ベースモデルが失敗するサンプルに着目し、多種多様なタスクの一般化を直接仲介する、コンパクトでタスクに依存しない一連の特徴を特定する。 これらの機能を無効にすることで、RLモデルの一般化性能が大幅に低下し、ベースモデルのパフォーマンスが向上する。 コードはhttps://github.com/danshi777/RL- Generalizationで公開されている。

関連論文リスト

• Learning Dynamics in RL Post-Training for Language Models [2.538209532048867]
  我々は、教師あり学習において研究されてきたが、RLでは未探索である視点から、RLポストトレーニングの学習ダイナミクスを分析した。 特徴表現の変動性に制限があることから,RL更新がモデル信頼性を体系的に向上させる可能性が示唆された。 これらの知見に感化されて、簡単な2段階学習戦略である分類器第一強化学習(CF-RL)を提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:32:15Z)
• Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch [63.40752011615843]
  ツール強化言語モデルのトレーニングは、複雑なタスクの能力を高めるための有望なアプローチとして登場した。 規則に基づく強化学習のための動的一般化誘導型報酬設計を提案する。 本研究では,SFTモデルとRL-with-SFTモデルと比較して7%以上の性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-02T16:33:45Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。