論文の概要: How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns

• arxiv url: http://arxiv.org/abs/2512.24063v1
• Date: Tue, 30 Dec 2025 08:16:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.321489
• Title: How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns
• Title（参考訳）: LLMの一般化の方法と理由:認知行動から低レベルパターンへのLLM推論の微粒化分析
• Authors: Haoyue Bai, Yiyou Sun, Wenjie Hu, Shi Qiu, Maggie Ziyu Huan, Peiyang Song, Robert Nowak, Dawn Song,
• Abstract要約: 大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
• 参考スコア（独自算出の注目度）: 51.02752099869218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) display strikingly different generalization behaviors: supervised fine-tuning (SFT) often narrows capability, whereas reinforcement-learning (RL) tuning tends to preserve it. The reasons behind this divergence remain unclear, as prior studies have largely relied on coarse accuracy metrics. We address this gap by introducing a novel benchmark that decomposes reasoning into atomic core skills such as calculation, fact retrieval, simulation, enumeration, and diagnostic, providing a concrete framework for addressing the fundamental question of what constitutes reasoning in LLMs. By isolating and measuring these core skills, the benchmark offers a more granular view of how specific cognitive abilities emerge, transfer, and sometimes collapse during post-training. Combined with analyses of low-level statistical patterns such as distributional divergence and parameter statistics, it enables a fine-grained study of how generalization evolves under SFT and RL across mathematical, scientific reasoning, and non-reasoning tasks. Our meta-probing framework tracks model behavior at different training stages and reveals that RL-tuned models maintain more stable behavioral profiles and resist collapse in reasoning skills, whereas SFT models exhibit sharper drift and overfit to surface patterns. This work provides new insights into the nature of reasoning in LLMs and points toward principles for designing training strategies that foster broad, robust generalization.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、非常に異なる一般化の挙動を示す: 教師付き微調整(SFT)は、しばしば能力を制限するが、強化学習(RL)チューニングは、それを保存する傾向がある。 これまでの研究では、粗い精度の指標に大きく依存していたため、このばらつきの背景はいまだに不明である。 計算, 事実検索, シミュレーション, 列挙, 診断などの原子核技術に推論を分解する新しいベンチマークを導入し, LLMの基本的問題に対処するための具体的な枠組みを提供する。 これらのコアスキルを分離し、測定することで、このベンチマークは特定の認知能力がポストトレーニング中にどのように出現し、移行し、時に崩壊するかをより詳細なビューを提供する。 分布のばらつきやパラメータ統計などの低レベルの統計パターンの分析と組み合わせることで、数学的、科学的推論、非調和的なタスクを通じて、SFTとRLの下で一般化がどのように進化するかを詳細に研究することができる。 我々のメタ・プロブリング・フレームワークは、異なる訓練段階におけるモデル行動を追跡し、RLで調整したモデルがより安定した行動プロファイルを維持し、推論スキルの崩壊を防いでいるのに対し、SFTモデルはよりシャープなドリフトを示し、表面パターンに過度に適合していることを明らかにする。 この研究は、LLMにおける推論の性質に関する新たな洞察と、広範で堅牢な一般化を促進するトレーニング戦略を設計するための原則への視点を提供する。

関連論文リスト

• FairReason: Balancing Reasoning and Social Bias in MLLMs [54.26091556079722]
  MLLM(Multimodal Large Language Models)は、様々なタスクやモダリティにおいて、最先端の成果をすでに達成している。 近年の研究では、推論能力をさらに推し進めるために、先進的なプロンプトスキームと後続の微調整を探求している。
  論文  参考訳（メタデータ） (2025-07-30T19:57:22Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• A Theory of Inference Compute Scaling: Reasoning through Directed Stochastic Skill Search [15.387256204743407]
  大規模言語モデル(LLM)は、訓練と配備の間にかなりの計算量、エネルギー、財務資源を必要とする。 推論コストは、今やリソース全体の負担の重要かつ増大する要素である。 本稿では,学習したスキルグラフ上での推論を表現力として表現する一般的なフレームワークである有向スキルサーチ(DS3)を紹介する。
  論文  参考訳（メタデータ） (2025-06-10T14:47:48Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Mapping the Minds of LLMs: A Graph-Based Analysis of Reasoning LLM [11.181783720439563]
  大規模言語モデル(LLM)は、拡張されたChain-of-Thought(CoT)生成を通じて洗練された推論能力を示す。 RLMは、数発のプロンプトによる性能劣化など、直感的で不安定な動作を示すことが多い。 RLMの推論過程をより良くモデル化するための統一的なグラフベース分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T03:54:57Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Investigating the Impact of Model Complexity in Large Language Models [3.7919508292745676]
  事前訓練された微調整パラダイムに基づく大規模言語モデル(LLM)は、自然言語処理タスクの解決において重要な役割を担っている。 本稿では,自己回帰 LLM に着目し,HMM (Hidden Markov Models) を用いたモデリングを提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。