論文の概要: On the Cost and Benefit of Chain of Thought: A Learning-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2605.21260v1
• Date: Wed, 20 May 2026 14:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.73582
• Title: On the Cost and Benefit of Chain of Thought: A Learning-Theoretic Perspective
• Title（参考訳）: 思考の連鎖のコストと利益--学習理論の視点から
• Authors: Yue Zhang, Zhiyi Dong, Tommaso Cesari, Yongyi Mao,
• Abstract要約: 思考の連鎖(CoT)を理解するための学習理論フレームワークを開発する 我々はCoTを回答マップと中間質問を自己回帰的に生成する連鎖規則の相互作用としてモデル化する。
• 参考スコア（独自算出の注目度）: 32.74283120808586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a learning-theoretic framework for understanding Chain of Thought (CoT). We model CoT as the interaction between an answer map and a chain rule that generates intermediate questions autoregressively, and define the reasoning risk of a hypothesis under this interaction. Our first result is a tight canonical decomposition of this risk into two terms with opposing roles: an oracle-trajectory risk (OTR), which captures the benefit of CoT and reduces to a target-domain risk in a domain adaptation problem, and a trajectory-mismatch risk (TMR), which captures the cost of CoT through error accumulation along mismatched reasoning trajectories. We then show that this cost is unavoidable without structure: if any one of the loss, the hypothesis answer map, or the chain rule lacks stability, the TMR can be arbitrarily large even when the OTR is zero and the hypothesis is uniformly close to the ground truth. Conversely, under stability, we prove a tight upper bound on the TMR governed by an exact amplification factor that identifies bounded, linear, and exponential error-growth regimes. Together, these results give a precise theory of when CoT helps, when it hurts, and what controls the transition between the two.
• Abstract（参考訳）: 思考の連鎖(CoT)を理解するための学習理論フレームワークを開発する。 我々は、CoTを回答マップと中間質問を自己回帰的に生成する連鎖規則の相互作用としてモデル化し、この相互作用の下で仮説の推論リスクを定義する。 最初の結果は、このリスクを、OTR(Oracle-trajectory risk)という、CoTの利点を捉え、ドメイン適応問題におけるターゲットドメインのリスクに還元する、OTR(Oracle-trajectory risk)と、ミスマッチした推論軌道に沿ったエラー蓄積によってCoTのコストを捕捉するトラジェクトリ-ミスマッチリスク(TMR)の2つの用語に分解する。 そして、このコストは構造なしでは避けられないことを示し、もし損失のどれか、仮説の応答マップ、あるいは連鎖規則が安定性を欠いているなら、OTRがゼロで仮説が基底真実に一様に近い場合でも、TMRは任意に大きくすることができる。 逆に、安定性の下では、有界、線形、指数的エラー成長規則を識別する正確な増幅因子によって支配されるTMR上の厳密な上限が証明される。 これらの結果は、CoTがいつ役に立つのか、いつ傷つくのか、そして2つの間の遷移を制御するのかという正確な理論を与えてくれる。

関連論文リスト

• Beyond Semantic Relevance: Counterfactual Risk Minimization for Robust Retrieval-Augmented Generation [19.888565537472363]
  CoRM-RAG(Counterfactual Risk Minimization for RAG)は、検索と意思決定の安全性を一致させるフレームワークである。 トレーニング中にユーザのバイアスをシミュレートする認知摂動プロトコルを導入し,それを軽量なエビデンス・クリティカルに蒸留する。 このスコアリングモジュールは、対向的なクエリの摂動にも拘わらず、モデルの正しさを判断するために十分な明らかな強度を持つ文書を特定することを学習する。
  論文  参考訳（メタデータ） (2026-05-02T07:22:24Z)
• A Researcher's Guide to Empirical Risk Minimization [3.891921282474929]
  このガイドは、経験的リスク最小化における高い確率的後悔境界の参照を提供する。 直観と一般的な証明戦略から始まり、ハイレベルな条件下で広く適用可能な保証を行う。
  論文  参考訳（メタデータ） (2026-02-25T02:26:23Z)
• Measuring and Mitigating Post-hoc Rationalization in Reverse Chain-of-Thought Generation [27.571918867764932]
  我々はこの現象を3段階の測定階層で定式化する。 我々は、モデルに解答を無視するように指示する直感的な緩和戦略である意味的抑圧を解析する。 本研究では、まず、応答不変な機能骨格構造を生成する2相アプローチである構造骨格誘導推論(SSR)を提案する。
  論文  参考訳（メタデータ） (2026-02-16T05:13:06Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• Unveiling and Causalizing CoT: A Causal Pespective [13.181744520232545]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のCoTは、推論を人間に理解させるのに苦労しています。 我々はCoTを因果的観点から明らかにし、すべての推論ステップの正確性と理解性の両方を保証する。
  論文  参考訳（メタデータ） (2025-02-25T14:20:27Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
  より弱い仮定として, 2$-adjacency faithfulness を提案します。 より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
  論文  参考訳（メタデータ） (2020-10-27T13:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。