論文の概要: Cognitive Loop of Thought: Reversible Hierarchical Markov Chain for Efficient Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2604.06805v1
• Date: Wed, 08 Apr 2026 08:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.42165
• Title: Cognitive Loop of Thought: Reversible Hierarchical Markov Chain for Efficient Mathematical Reasoning
• Title（参考訳）: 思考の認知ループ:効率的な数学的推論のための可逆的階層的マルコフ連鎖
• Authors: Jia-Chen Zhang, Zheng Zhou, Yu-Jie Xiong,
• Abstract要約: マルチステップのChain-of-Thought (CoT) はLLMの数学的推論能力を大幅に向上させた。 既存のアプローチでは、マルコフチェーンのような構造を介してKVキャッシュの冗長性を減らし、これを緩和しようとする。 我々は、Reversible Hierarchical Markov Chain, Cognitive Loop of Thought (CLoT)に基づく新しいChain-of-Thoughtフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.603283873843294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-step Chain-of-Thought (CoT) has significantly advanced the mathematical reasoning capabilities of LLMs by leveraging explicit reasoning steps. However, the widespread adoption of Long CoT often results in sequence lengths that exceed manageable computational limits. While existing approaches attempt to alleviate this by reducing KV Cache redundancy via Markov chain-like structures, they introduce two critical limitations: inherent memorylessness (loss of context) and limited backward reasoning capability. To address these limitations, we propose a novel Chain-of-Thought framework based on Reversible Hierarchical Markov Chain, termed Cognitive Loop of Thought (CLoT), and a backward reasoning dataset CLoT-Instruct. In CLoT, problems are decomposed into sub-problems with hierarchical dependencies. Inspired by human cognitive processes, we introduce a backward verification mechanism at each hierarchical layer. Furthermore, we implement a pruning strategy: once higher-level sub-problems are verified, redundant lower-level sub-problems are pruned to maximize efficiency. This approach effectively mitigates error propagation and enhances reasoning robustness. Experiments on four mathematical benchmarks demonstrate the effectiveness of our method. Notably, on the AddSub dataset using GPT-4o-mini, CLoT achieves 99.0% accuracy, outperforming traditional CoT and CoT-SC by 4.1% and 2.9%, respectively.
• Abstract（参考訳）: CoT(Multi-step Chain-of-Thought)は、明示的な推論ステップを活用することで、LLMの数学的推論能力を著しく向上させた。 しかしながら、Long CoTが広く採用されているため、しばしば管理可能な計算限界を超えるシーケンス長が生じる。 既存のアプローチでは、Markovチェーンのような構造を通じてKVキャッシュの冗長性を減らし、これを緩和しようとしているが、それらには2つの重要な制限がある。 これらの制約に対処するために、Reversible Hierarchical Markov Chainに基づく新しいChain-of-Thoughtフレームワーク、Cognitive Loop of Thought (CLoT)、および後方推論データセットCLoT-Instructを提案する。 CLoTでは、問題は階層的な依存関係を持つサブプロブレムに分解される。 人間の認知プロセスに触発されて,各階層層に後方検証機構を導入する。 さらに, 高レベルのサブプロブレムが検証されると, 冗長な低レベルのサブプロブレムがプルーニングされ, 効率が最大になる。 このアプローチは、エラーの伝播を効果的に軽減し、推論の堅牢性を高める。 4つの数学的ベンチマーク実験により,本手法の有効性が示された。 特に、GPT-4o-miniを使用したAddSubデータセットでは、CLoTは99.0%の精度で、従来のCoTとCoT-SCをそれぞれ4.1%、CoT-SCを2.9%上回っている。

関連論文リスト

• Hierarchical Chain-of-Thought Prompting: Enhancing LLM Reasoning Performance and Efficiency [4.139013391483979]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が大幅に向上した。 本稿では階層的連鎖(Hi-CoT)プロンプトを導入する。 Hi-CoTは、推論プロセスを命令計画とステップバイステップ実行の交互に階層的なサブステップに分解する。
  論文  参考訳（メタデータ） (2026-03-31T18:35:22Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• Chain Of Thought Compression: A Theoritical Analysis [24.613200477865572]
  Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。 最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
  論文  参考訳（メタデータ） (2026-01-29T11:42:03Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal [13.035073453917088]
  大規模推論モデル(LRM)は、Chain-of-Thought(CoT)の長さをスケールアップすることによって、コード推論において顕著な能力を示した。 我々は,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPは、トレーニングと推論コストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。
  論文  参考訳（メタデータ） (2025-08-08T03:46:21Z)
• AdaCoT: Pareto-Optimal Adaptive Chain-of-Thought Triggering via Reinforcement Learning [30.265984245328124]
  Chain-of-Thoughtは、すべてのクエリに対する長い推論ステップを無差別に生成する。 AdaCoT(Adaptive Chain-of-Thought)は、LLMがCoTを呼び出すタイミングを適応的に決定できる新しいフレームワークである。 重要な技術的貢献はSLM(Selective Loss Masking)であり、決定境界崩壊の防止を目的としている。
  論文  参考訳（メタデータ） (2025-05-17T08:27:00Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。