論文の概要: Reasoning or Pattern Exploitation? Mechanistic Insights from RL-Trained Language Models
- arxiv url: http://arxiv.org/abs/2610.39182v1
- Date: Thu, 29 Oct 2026 02:09:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.028672
- Title: Reasoning or Pattern Exploitation? Mechanistic Insights from RL-Trained Language Models
- Title（参考訳）: 推論かパターン爆発か : RL学習言語モデルからの力学的考察
- Abstract要約: 有限かつ徹底的に解析可能な論理領域、すなわちTic-Tac-Toeで訓練された大規模言語モデル(LLM)を探索する。
定量的には、RLは急激なバリエーションにまたがって高い精度とロバスト性をもたらし、ゲーム推論の出現を示唆している。
モデルは主に、プロンプトですでに明示されている情報に大きく依存するように適応します。
- 参考スコア（独自算出の注目度）: 14.206648597484062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly described as acquiring "reasoning" skills after reinforcement learning with verifiable rewards. However, whether these gains reflect genuine reasoning or more superficial adaptations remains underexplored. In this work, we probe LLMs trained in a finite and exhaustively analyzable logical domain, namely Tic-Tac-Toe, and trace how internal representations evolve across reinforcement learning (RL) with Group Relative Policy Optimization (GRPO). Quantitatively, RL yields high accuracy and robustness across prompt variations, suggesting the emergence of game reasoning. Mechanistic interpretability, however, paints a different picture: features extracted with sparse autoencoders (SAEs) reveal that models primarily adapt to rely more heavily on information already explicit in the prompt, such as whose turn it is, game progression and board occupancy. In comparison, high-level concepts like board symmetries and strategic forks remain weakly represented, raising concerns that reasoning benchmarks overestimate model abilities. This suggests that RL-driven "reasoning" may conflate task-specific adaptations to input information with reasoning ability. We provide, for the first time: (i) a systematic interpretability pipeline tracing representation dynamics across RL training in small-scale LLMs; (ii) an extension of SAE-based feature discovery to hypothesis-driven testing in a finite logical domain; and (iii) an interpretability-based demonstration that RL post-training neither adds nor removes concept information but reorganizes which features dominate the representation, with causal interventions locating the decision downstream of it, in the late-layer state.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は、検証可能な報酬を伴う強化学習の後に「推論」スキルを取得すると、ますます説明されている。
しかし、これらが真の推論や表面的な適応を反映しているかどうかはまだ未定である。
本研究では,有限かつ徹底的に解析可能な論理領域,すなわち Tic-Tac-Toe で訓練された LLM を探索し,グループ相対ポリシー最適化 (GRPO) を用いた強化学習 (RL) を通して内部表現がどのように進化するかを追究する。
定量的には、RLは急激なバリエーションにまたがって高い精度とロバスト性をもたらし、ゲーム推論の出現を示唆している。
スパースオートエンコーダ(SAE)で抽出された特徴は、モデルが主に、どのターンやゲーム進行、ボード占有率といったプロンプトで既に明示されている情報に大きく依存するように適応していることを明らかにする。
対照的に、ボード対称性や戦略的フォークのようなハイレベルな概念は依然として弱い表現であり、ベンチマークがモデル能力を過大評価するのではないかという懸念が持ち上がっている。
このことは、RL駆動の「推論」が、タスク固有の適応を推論能力で入力情報に分割する可能性があることを示唆している。
私たちは初めて提供します。
i)小規模LLMにおけるRL学習における系統的解釈可能性パイプライントレース表現ダイナミクス
(II)有限論理領域における仮説駆動テストへのSAEに基づく特徴発見の拡張
三 再学習後、RLが概念情報を付加・削除せず、どの特徴が表現を支配しているかを再編成し、その決定を下流の後期状態に配置する解釈可能性に基づく実演。
関連論文リスト
- What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track [4.624097215050827]
このフレームワークは、ベースモデルとすべてのRLチェックポイントにまたがるアクティベーションに基づいて、レイヤ毎の共有SAEをトレーニングする。
RLにより引き起こされるドリフトは小さく, 段階的, 概念的であり, 後期層に集中しており, 小セットのラダートークンのサンプリング率の向上が主である。
論文 参考訳（メタデータ） (2026-09-14T05:29:45Z) - Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models [2.497936211748472]
強化学習(RL)によって訓練された大規模な推論モデルは、数学的推論タスクにおいて教師付き微調整(SFT)よりも優れていることがますます示されている。
第一に,RLモデルはSFTモデルと比較して解答正解率の予測において高い精度を達成しがちであることを示す。
第2に、平均アブレーション研究により、RLモデルはより深い層が徐々に重要になる階層構造を発達させ、SFTモデルは層間で重要性を均一に分配することを示した。
論文 参考訳（メタデータ） (2026-07-28T17:42:42Z) - The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning [65.67266333751569]
現在のLRM(Large Reasoning Models)は、空間推論タスクにおいて顕著な汎用性を示すが、性能は著しく劣る。
本研究では,内的推論プロセスを対象とした自己指導型強化学習フレームワークを提案する。
このラベルのない整合性トレーニングは,地道的な監督によって訓練されたモデルの精度にアプローチし,多様なタスクやデータ領域にまたがる同様の一般化を実現することを示す。
論文 参考訳（メタデータ） (2026-06-10T10:50:06Z) - Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。
Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。
制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
論文 参考訳（メタデータ） (2026-04-27T21:22:34Z) - How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳（メタデータ） (2025-12-30T08:16:20Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。
複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。
Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。
我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
論文 参考訳（メタデータ） (2025-03-31T17:55:23Z) - OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。
OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
論文 参考訳（メタデータ） (2025-03-21T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。