論文の概要: Base Models Know How to Reason, Thinking Models Learn When

• arxiv url: http://arxiv.org/abs/2510.07364v1
• Date: Wed, 08 Oct 2025 17:58:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.640325
• Title: Base Models Know How to Reason, Thinking Models Learn When
• Title（参考訳）: ベースモデルは推論の仕方を知っていて、モデルがいつ学習するかを熟考する
• Authors: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda,
• Abstract要約: 一貫性のあるパフォーマンス向上にもかかわらず、思考モデルがどのようにして全く新しい推論能力を学ぶのかは不明だ。 本稿では,ベースモデルにおける推論機構を適切なタイミングで活性化し,思考モデルレベルの推論連鎖を導出するハイブリッドモデルを提案する。
• 参考スコア（独自算出の注目度）: 29.101045366810652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why do thinking language models like DeepSeek R1 outperform their base counterparts? Despite consistent performance gains, it remains unclear to what extent thinking models learn entirely new reasoning capabilities or repurpose pre-existing base model ones. In this work, we propose a hybrid model where we activate reasoning mechanisms in base models at the right time to elicit thinking-model-level reasoning chains, implying that thinking models exploit already existing capabilities. To ground our analysis, we introduce an unsupervised, bottom-up approach for uncovering human-interpretable reasoning behaviors in thinking models. This approach provides an unbiased method to discover reasoning behaviors without imposing manual or LLM-derived assumptions. Across three base and four thinking models, using GSM8K and MATH500, our hybrid model recovers up to 91% of the performance gap to thinking models without any weight updates while steering only 12% of tokens. Concretely, our empirical setup provides a simple, causal way to test the effectiveness of existing reasoning mechanisms in base models by invoking them directly and measuring the resulting task performance. More broadly, these results reframe our understanding of how thinking models are trained: pre-training is when models acquire most of their reasoning mechanisms, and post-training teaches efficient deployment of these mechanisms at the right time, enabling efficient use of their inference-time compute.
• Abstract（参考訳）: なぜDeepSeek R1のような思考言語モデルはベースモデルよりも優れているのか? 一貫性のあるパフォーマンス向上にもかかわらず、思考モデルが完全に新しい推論能力を学んだり、既存のベースモデルのモデルを再利用したかは、まだ不明である。 本研究では,ベースモデルにおける推論機構を適切なタイミングで活性化し,思考モデルレベルでの推論連鎖を導出するハイブリッドモデルを提案する。 そこで本研究では,思考モデルにおける人間の解釈可能な推論行動を明らかにするための,教師なしボトムアップ手法を提案する。 このアプローチは、手動やLLM由来の仮定を課すことなく、推論の振る舞いを発見する、バイアスのない方法を提供する。 GSM8KとMATH500の3つのベースモデルと4つのシンキングモデルに対して,我々のハイブリッドモデルは,トークンの12%のみを操りながら,ウェイト更新のない思考モデルに対して,パフォーマンスギャップの最大91%を回復させる。 具体的には、我々の経験的セットアップは、ベースモデルにおける既存の推論メカニズムの有効性を、直接呼び出し、結果のタスク性能を計測することによって、簡易かつ因果的に検証する方法を提供する。 事前学習は、モデルが推論メカニズムの大部分を取得するときであり、ポストトレーニングは、これらのメカニズムを適切なタイミングで効率的に展開することを教え、推論時計算の効率的な利用を可能にします。

関連論文リスト

• Don't Overthink It: A Survey of Efficient R1-style Large Reasoning Models [49.598776427454176]
  大規模共振モデル (LRM) は, 複雑なタスクの処理性能に優れていたため, 徐々に研究ホットスポットになりつつある。 しかし、これらのモデルが広く適用されたことにより、過度に考え直すという問題が徐々に顕在化していった。 モデル性能と推論能力を損なうことなく、推論経路の長さを短縮することを目的とした、様々な効率的な推論手法が提案されている。
  論文  参考訳（メタデータ） (2025-08-04T06:54:31Z)
• Large Reasoning Models are not thinking straight: on the unreliability of thinking trajectories [0.0]
  強化学習(RL)を通じてトレーニングされたLarge Language Models(LLMs)は、最近、推論ベンチマークで印象的な結果を得た。 しかし、成長する証拠は、これらのモデルがしばしば長いが効果のない思考の連鎖(CoT)を生成することを示している。 モデルが明示的に提供しても正しい解を無視し、代わりに不要な推論ステップを生成し続けるという、過度な考えの新たな証拠を提示する。
  論文  参考訳（メタデータ） (2025-07-01T12:14:22Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• Self-supervised Analogical Learning using Language Models [59.64260218737556]
  自己教師型アナログ学習フレームワークであるSALを提案する。 SALは人間の類推過程を模倣し、高品質な記号解を明示的に伝達するようモデルを訓練する。 得られたモデルは、幅広い推論ベンチマークでベース言語モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T02:31:26Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Prototypical Self-Explainable Models Without Re-training [5.837536154627278]
  自己説明可能なモデル(SEM)は、予測とともに説明を提供するために直接訓練される。 現在のSEMは複雑なアーキテクチャと高度に規則化された損失関数を必要とするため、具体的かつコストのかかる訓練が必要である。 我々は、既存の事前学習されたモデルからプロトタイプSEMに変換することができる、KMExと呼ばれる単純で効率的な普遍的手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T01:15:00Z)
• Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
  モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。 このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。 我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:40:01Z)
• Thief, Beware of What Get You There: Towards Understanding Model Extraction Attack [13.28881502612207]
  いくつかのシナリオでは、AIモデルはプロプライエタリに訓練され、事前に訓練されたモデルも十分な分散データも公開されていない。 既存の手法の有効性は,事前学習モデルの欠如に大きく影響している。 モデル抽出攻撃を、これらの要因を深層強化学習で捉える適応的フレームワークに定式化します。
  論文  参考訳（メタデータ） (2021-04-13T03:46:59Z)
• Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
  Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。 我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-26T11:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。