論文の概要: Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2511.07124v1
• Date: Mon, 10 Nov 2025 14:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.292028
• Title: Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought
• Title（参考訳）: エネルギーをベースとした不必要結束の校正
• Authors: Zhikang Chen, Sen Cui, Deheng Ye, Yu Zhang, Yatao Bian, Tingting Zhu,
• Abstract要約: 大規模言語モデル(LLM)は、emphChain-of-Thought(CoT)のプロンプトを通じて、強力な推論能力を示している。 CoT法は離散トークンレベルの推論プロセスに依存しており、誤りの伝播が難しく、語彙によって制限される。 EBM-CoT(Energy-based Chain-of-Thought)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.267497114389734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated strong reasoning capabilities through \emph{Chain-of-Thought} (CoT) prompting, which enables step-by-step intermediate reasoning. However, explicit CoT methods rely on discrete token-level reasoning processes that are prone to error propagation and limited by vocabulary expressiveness, often resulting in rigid and inconsistent reasoning trajectories. Recent research has explored implicit or continuous reasoning in latent spaces, allowing models to perform internal reasoning before generating explicit output. Although such approaches alleviate some limitations of discrete CoT, they generally lack explicit mechanisms to enforce consistency among reasoning steps, leading to divergent reasoning paths and unstable outcomes. To address this issue, we propose EBM-CoT, an Energy-Based Chain-of-Thought Calibration framework that refines latent thought representations through an energy-based model (EBM). Our method dynamically adjusts latent reasoning trajectories toward lower-energy, high-consistency regions in the embedding space, improving both reasoning accuracy and consistency without modifying the base language model. Extensive experiments across mathematical, commonsense, and symbolic reasoning benchmarks demonstrate that the proposed framework significantly enhances the consistency and efficiency of multi-step reasoning in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ステップバイステップの中間推論を可能にする 'emph{Chain-of-Thought} (CoT) プロンプトを通じて、強力な推論能力を示している。 しかし、明示的なCoT法は、誤りの伝播が困難であり、語彙表現性によって制限される離散的なトークンレベルの推論プロセスに依存しており、しばしば堅固で矛盾した推論軌道をもたらす。 最近の研究は、潜在空間における暗黙的または連続的推論を探求し、モデルが明示的な出力を生成する前に内部的推論を実行できるようにしている。 このようなアプローチは、離散CoTのいくつかの制限を緩和するが、一般的には推論ステップ間の一貫性を強制する明確なメカニズムが欠如しており、分岐した推論パスと不安定な結果をもたらす。 この問題に対処するために、エネルギーベースモデル(EBM)を通して潜在思考表現を洗練するEBM-CoT(Energy-based Chain-of-Thought Calibration framework)を提案する。 本手法は,埋め込み空間内の低エネルギー・高一貫性領域に対する潜在推論軌道を動的に調整し,基本言語モデルを変更することなく推論精度と整合性を改善する。 LLMにおける多段階推論の一貫性と効率を大幅に向上させることを, 数学的, 常識的, 記号的推論のベンチマークで実証した。

関連論文リスト

• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。