論文の概要: The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning

• arxiv url: http://arxiv.org/abs/2610.09186v1
• Date: Tue, 06 Oct 2026 22:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.636115
• Title: The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning
• Title（参考訳）: パターン認識とステップバイステップ推論の分離
• Abstract要約: パターン認識とステップバイステップ推論はスペクトルの2つの端であることを示す。 大規模言語モデル(LLM)は、データが構造化されたときにステップバイステップの推論を学ぶ。
• 参考スコア（独自算出の注目度）: 16.56150796710892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We argue that pattern recognition and step-by-step reasoning are two ends of a spectrum. A large language model (LLM) learns to reason step-by-step when data is structured such that the next token depends on a small amount of preceding context. Inference in LLMs resembles pattern recognition when the next token depends on a large amount of preceding context. If the next token depends on only the $c$ most recent tokens, reasoning traces are paths on a De Bruijn graph whose nodes are $c$-length contexts and edges are next-token transitions between contexts. The set of reasoning traces of a task forms a directed acyclic subgraph of the De Bruijn graph. An LLM that has learned all edges of this subgraph can compose them to solve longer, unseen tasks, i.e., it reasons step-by-step. We prove that the number of edges is vanishingly small compared to the number of reasoning traces. Empirically, the number of training samples a transformer needs is a power law in the number of edges, so learning to reason step-by-step is sample efficient. We can induce De Bruijn structure in any task by maintaining a ``state'' that makes future reasoning independent of the past. The frequency of states in the reasoning trace determines $c$. We show, by fine-tuning Qwen2.5-1.5B-Instruct to solve equations and answer questions about stories, that frequent states (small $c$) result in higher accuracy but greater fragility to perturbations at test time. LLMs trained with a large $c$ are only as good as models that perform pattern recognition without reasoning. A moderate density of states balances accuracy and robustness. We show that real-world data has De Bruijn structure: Qwen3-14B and Qwen3-32B retain over 75% of their accuracy on GSM8K, MATH-500 and GPQA-Diamond when attention is restricted to a sliding window less than 15% as long as the full reasoning trace.
• Abstract（参考訳）: パターン認識とステップバイステップ推論はスペクトルの2つの端であると主張する。 大規模言語モデル(LLM)は、データが構造化されたときにステップバイステップの推論を学ぶ。 LLMにおける推論は、次のトークンが大量の先行するコンテキストに依存する場合、パターン認識に似ている。 次のトークンが$c$のみに依存する場合、推論トレースはDe Bruijnグラフ上のパスで、ノードは$c$長コンテキストであり、エッジはコンテキスト間の次のトークン遷移である。 タスクの推論トレースの集合は、デ・ブラングラフの有向非巡回部分グラフを形成する。 この部分グラフのすべてのエッジを学習したLLMは、より長く見えないタスク、すなわちステップバイステップの理由を解くためにそれらを構成することができる。 我々は、エッジの数が、推論トレースの数に比べて著しく小さいことを証明した。 実験的に、トランスフォーマーが必要とするトレーニングサンプルの数はエッジ数におけるパワー則であり、ステップバイステップの推論の学習はサンプリング効率が良い。 将来の推論を過去から独立させる '`state'' を維持することで,De Bruijn 構造を任意のタスクで誘導することができる。 推論トレース中の状態の頻度は$c$を決定する。 Qwen2.5-1.5B-Instructning Qwen2.5-1.5B-Instructing to solve equations and answer questions about stories, that often state (small $c$) result to higher accuracy but greater fragility to perturbations at test time。 大規模な$c$でトレーニングされたLLMは、推論なしでパターン認識を行うモデルに匹敵する。 状態の適度な密度は、正確さと堅牢さのバランスをとる。 Qwen3-14B と Qwen3-32B は GSM8K, MATH-500 と GPQA-Diamond の精度の75%以上を維持している。

関連論文リスト

• Reason Popper-ly: Patching In-Context Reasoning with Inductive Logic Programming [5.951101028540166]
  Chain-of-Thought(CoT)プロンプトにより、大規模な言語モデルが多段階推論タスクに取り組むことができる。 本稿では、帰納的論理プログラミング(ILP)を用いて関係合成規則を学習するニューロシンボリック・フレームワークであるReason Popper-lyを紹介する。
  論文  参考訳（メタデータ） (2026-07-25T03:24:05Z)
• ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces [13.927941324541356]
  ReasoningFlowは、LRM推論の談話構造を微粒な非巡回グラフにトレースするフレームワークである。 ReasoningFlowグラフを解析することにより、異なるベースモデルからトレーニングされているにもかかわらず、LRMは構造的に類似したトレースを示すことがわかった。 ReasoningFlowは、トレース監視性を改善するために使用できる、さまざまなきめ細かい推論動作を明らかにする。
  論文  参考訳（メタデータ） (2026-06-03T20:12:26Z)
• Correct Prediction, Wrong Steps? Consensus Reasoning Knowledge Graph for Robust Chain-of-Thought Synthesis [29.865115662967252]
  LLM推論トレースは複雑な欠陥に悩まされている -- * 内部的欠陥* (論理的誤り、幻覚など) と * 側的欠陥* (再考、再考)
  論文  参考訳（メタデータ） (2026-04-15T17:43:10Z)
• Reasoning about Reasoning: BAPO Bounds on Chain-of-Thought Token Complexity in LLMs [16.81068280262534]
  チェーン・オブ・ソート(CoT)推論によるインタイムスケーリングは、最先端のLLMパフォーマンスの主要な要因であるが、相当なレイテンシと計算コストが伴う。 入力サイズが大きくなるにつれて、問題の解決に何個の推論トークンが必要となるのか? 正規の3つのBAPO-hardタスク(二進数、三重項マッチング、グラフ到達性)に必要なCoTトークンの下位境界を証明した。
  論文  参考訳（メタデータ） (2026-02-02T23:33:34Z)
• Entropy After $\langle \texttt{/Think} \rangle$ for reasoning model early exiting [38.93424884988798]
  正しい解に到達した後も、回答を再検討し続けながら、大きな推論モデルが過大評価されていることを示す。 We propose Entropy After /Think> (EAT) for monitoring and decide whether to exit reasoning early。 EATは、正確性を損なうことなく、トークン使用量を13～21%削減する。
  論文  参考訳（メタデータ） (2025-09-30T16:59:37Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。