論文の概要: The Potential of CoT for Reasoning: A Closer Look at Trace Dynamics

• arxiv url: http://arxiv.org/abs/2602.14903v1
• Date: Mon, 16 Feb 2026 16:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.544578
• Title: The Potential of CoT for Reasoning: A Closer Look at Trace Dynamics
• Title（参考訳）: CoTの推論の可能性 - トレーサダイナミクスの概観-
• Authors: Gregor Bachmann, Yichen Jiang, Seyed Mohsen Moosavi Dezfooli, Moin Nabi,
• Abstract要約: Chain-of-Thoughting(CoT)プロンプトは、大言語モデル(LLM)から推論のような応答を引き出す技術である。 本研究では,競合レベルの数学問題から得られたCoTトレースの詳細な分析を行う。
• 参考スコア（独自算出の注目度）: 30.0399062842928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) prompting is a de-facto standard technique to elicit reasoning-like responses from large language models (LLMs), allowing them to spell out individual steps before giving a final answer. While the resemblance to human-like reasoning is undeniable, the driving forces underpinning the success of CoT reasoning still remain largely unclear. In this work, we perform an in-depth analysis of CoT traces originating from competition-level mathematics questions, with the aim of better understanding how, and which parts of CoT actually contribute to the final answer. To this end, we introduce the notion of a potential, quantifying how much a given part of CoT increases the likelihood of a correct completion. Upon examination of reasoning traces through the lens of the potential, we identify surprising patterns including (1) its often strong non-monotonicity (due to reasoning tangents), (2) very sharp but sometimes tough to interpret spikes (reasoning insights and jumps) as well as (3) at times lucky guesses, where the model arrives at the correct answer without providing any relevant justifications before. While some of the behaviours of the potential are readily interpretable and align with human intuition (such as insights and tangents), others remain difficult to understand from a human perspective. To further quantify the reliance of LLMs on reasoning insights, we investigate the notion of CoT transferability, where we measure the potential of a weaker model under the partial CoT from another, stronger model. Indeed aligning with our previous results, we find that as little as 20% of partial CoT can ``unlock'' the performance of the weaker model on problems that were previously unsolvable for it, highlighting that a large part of the mechanics underpinning CoT are transferable.
• Abstract（参考訳）: Chain-of-Thoughting(CoT)プロンプトは、大規模な言語モデル(LLM)から推論のような応答を引き出すデファクト標準技術であり、最終的な答えを出す前に個々のステップをスペルすることを可能にする。 人間のような推論と類似性は否定できないが、CoT推論の成功を支えている駆動力はいまだに不明である。 本研究は,CoTのどの部分が最終回答に実際に貢献しているかをよりよく理解するために,競合レベルの数学問題に由来するCoTトレースの詳細な分析を行う。 この目的のために、我々はポテンシャルの概念を導入し、CoTの与えられた部分が正しい完備化の確率をどれだけ高めるかを定量化する。 その結果,(1)非単調性が強いこと,(2)スパイクを非常に鋭く,時には解釈が難しいこと,(3) 幸運な推理,(3) モデルが適切な解答に到達し,適切な正解が得られなかったことなど,意外なパターンが明らかになった。 ポテンシャルの行動のいくつかは容易に解釈可能であり、人間の直観(洞察や接点など)と一致しているが、他のものは人間の視点から理解することが難しいままである。 推論的洞察に基づくLCMの信頼性をさらに定量的にするために、我々はCoT伝達可能性の概念を考察し、別のより強いモデルから部分的なCoTの下での弱いモデルの可能性を測定する。 実際、我々の以前の結果と一致して、部分的なCoTの20%は、それまで解決不可能だった問題に対する弱いモデルの性能を‘アンロック’することができ、CoTを支える機械の大部分が転送可能であることを強調している。

関連論文リスト

• The Challenge of Teaching Reasoning to LLMs Without RL or Distillation [31.973226821366325]
  推論可能な言語モデルは、長く明示的なChain-of-Thoughtトレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。 我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。 結果として得られたモデルは、はるかに大きなtexttQwen2.5-Math-72B-Instruct よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。
  論文  参考訳（メタデータ） (2025-07-14T01:14:50Z)
• Unveiling Confirmation Bias in Chain-of-Thought Reasoning [12.150655660758359]
  大型言語モデル(LLM)の推論能力を高めるために、チェーン・オブ・シークレット(CoT)プロンプトが広く採用されている。 本研究は認知心理学におけるテキスト確認バイアスのレンズを通してCoTの行動を理解する新しい視点を示す。
  論文  参考訳（メタデータ） (2025-06-14T01:30:17Z)
• Chain-of-Probe: Examining the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
  CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。 本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:07:13Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。 記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。 我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
  論文  参考訳（メタデータ） (2023-07-17T01:08:39Z)
• Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting [43.458726163197824]
  大規模言語モデル(LLM)は、最終的な出力を与える前にステップバイステップの推論を生成することで、多くのタスクにおいて強力なパフォーマンスを達成することができる。 モデル予測の真の理由を,CoT の説明が体系的に誤って表現できることが判明した。
  論文  参考訳（メタデータ） (2023-05-07T22:44:25Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。