論文の概要: What Makes Chain-of-Thought Work at Probe Time? Local Co-occurrence Rather Than Global Derivation

• arxiv url: http://arxiv.org/abs/2605.26795v1
• Date: Tue, 26 May 2026 10:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.872651
• Title: What Makes Chain-of-Thought Work at Probe Time? Local Co-occurrence Rather Than Global Derivation
• Title（参考訳）: プローブ時間におけるチェーン・オブ・ワットの働きとは何か? グローバルな導出よりも局所的共起
• Authors: Xiang Wang, Wei Wei,
• Abstract要約: 思考の連鎖は言語モデルの精度を確実に向上させる。 しかし、合理的テキストのどの特性が改善を促進するかは理解されていない。 私たちはプローブタイムの質問に答える: 文脈における固定された論理が与えられた場合、そのテキストで答えが変わるのは何か?
• 参考スコア（独自算出の注目度）: 13.169139492778973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) prompting reliably improves language-model accuracy, but which properties of a rationale text drive the improvement is poorly understood. Prior work has largely studied generation-time behavior. We instead ask a probe-time question: given a fixed rationale in context, what in that text changes the answer? We identify two complementary sources of the gain. First, even a globally word-shuffled rationale substantially outperforms the no-rationale baseline, indicating a strong lexical activation effect. More importantly, the additional gain from structured text appears to arise less from sentence-level logical ordering and more from short-range token adjacency. Preserving contiguous windows of just $n^\star{=}2$--$3$ tokens recovers most of the remaining gain toward full CoT performance. Supporting experiments rule out copying of explicit answer declarations or answer values, as well as full grammatical realization, as primary drivers. Further generalization experiments show that the qualitative pattern remains stable across multiple model families, parameter scales, and datasets. These results support a local co-occurrence activation (LCA) account of probe-time CoT, in which the observed gains appear to arise primarily from lexical activation and short-range token co-occurrence rather than sentence-level logical derivation.
• Abstract（参考訳）: CoT(Chain-of-Thought)は言語モデルの精度を確実に向上させるが、どの特性が改善を駆動するかは理解できない。 それまでの研究は世代別行動の研究が盛んであった。 その代わりに、調査時の質問を尋ねる: 文脈における一定の根拠が与えられた場合、そのテキストの中では、その答えがどう変わるのか? 利得の相補的な情報源を2つ特定する。 第一に、グローバルな単語シャッフル論理でさえ、ノリチャールベースラインを大幅に上回り、強い語彙活性化効果を示す。 さらに重要なことは、構造化されたテキストによる追加的な利得は、文レベルの論理的順序付けよりも、短距離トークンの隣接性から生じているように思われる。 ちょうど$n^\star{=}2$-$3$トークンの連続したウィンドウを保存すると、残りのCoTのパフォーマンスが回復する。 実験のサポートは、明示的な回答宣言や回答値のコピーと、主要なドライバとしての文法的実現を除外する。 さらなる一般化実験により、定性的パターンは複数のモデルファミリ、パラメータスケール、データセットにわたって安定であることが示された。 これらの結果は、プローブ時間CoTの局所的共起活性化(LCA)を裏付けるものであり、観察された利得は主に、文レベルの論理的導出ではなく、語彙的活性化と短距離トークン共起から生じると考えられる。

関連論文リスト

• Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model [56.21523258053447]
  SCOLAR(Self-Consistent LAtent Reasoning)は、1枚のショットで補助的な視覚トークンを生成する軽量なデコンバータを導入している。 SCOLARは許容遅延CoT長を30ドル以上延長し、実世界の推論ベンチマークでオープンソースモデルの間で最先端を実現している。
  論文  参考訳（メタデータ） (2026-05-12T14:13:08Z)
• Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought [16.907732581097417]
  我々は、明示的なCoT(Chain-of-Thought)よりも優れた効率と安定性を主張するCOCONUT(Chain-of-Continuous-Thought)に焦点を当てる。 CoTトークンとは異なり、COCONUTトークンはステアリングに対する最小限の感度を示し、推論クリティカルな情報を欠いている。 MMLUとHotpotQAの結果は、COCONUTが一貫してデータセットのアーティファクトを利用して、真の推論なしにベンチマークパフォーマンスを膨らませていることを示している。
  論文  参考訳（メタデータ） (2025-12-25T15:14:53Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion [34.582439587552656]
  ゼロショット・チェーン・オブ・サート・プロセスの成功を完了前に予測できるかどうかを検討する。 LLM表現に基づく探索分類器は,単一トークンが生成される前にも良好に動作することがわかった。
  論文  参考訳（メタデータ） (2025-05-30T08:54:28Z)
• Deciphering the Factors Influencing the Efficacy of Chain-of-Thought: Probability, Memorization, and Noisy Reasoning [11.758019716526459]
  Chain-of-Thought(CoT)プロンプトは、Large Language Models(LLM)の多段階推論能力を高めることが示されている。 CoTのプロンプト性能は,真の推論の暗黙化と確率バージョンの両方を反映していることを示す。
  論文  参考訳（メタデータ） (2024-07-01T18:01:07Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。