論文の概要: SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

• arxiv url: http://arxiv.org/abs/2510.24940v1
• Date: Tue, 28 Oct 2025 20:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.779869
• Title: SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens
• Title（参考訳）: SemCoT: セマンティック・アライン・インシシット・トークンによるチェーン・オブ・サート推論の高速化
• Authors: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li,
• Abstract要約: CoT(Chain-of-Thought)の推論は、効率クリティカルなアプリケーションへの大量展開を妨げる。 本稿では,SemCoTと呼ばれる意味的に整合した暗黙的CoTフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.78883511257627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.
• Abstract（参考訳）: CoT(Chain-of-Thought)推論の冗長性は、効率クリティカルなアプリケーションへの大量展開を妨げる。 最近、暗黙のCoTアプローチが出現し、明示的なトークンではなく、LLMの隠れ埋め込み('implicit reasoning'' と呼ばれる)内の推論ステップをエンコードしている。 このアプローチは、推理長を減らし、いくつかのLCMコンポーネントをバイパスすることにより、CoTを加速する。 しかし、既存の暗黙のCoT法では、(1)暗黙の推論(自然言語に変換された場合)と暗示の推論とのセマンティックアライメントを維持することができず、また(2)暗示の推論の長さを減らすことに重点を置いている。 これらの課題に対処するために,SemCoTと呼ばれる意味的に整合した暗黙的CoTフレームワークを提案する。 特に、最初の課題として、暗黙的推論と明示的推論のセマンティックアライメントを評価する、対照的に訓練された文変換器を設計する。 第2の課題に対処するために,知識蒸留を用いた軽量言語モデルを微調整し,効率的な暗黙的推論生成手法を提案する。 本生成装置は, 文変換器により, 意味的に整合した暗黙的推論に基礎構造推論を蒸留し, 精度を最適化する。 SemCoTはトークンレベルの生成速度を最適化し、接地構造推論とセマンティックアライメントを保持することでCoT効率を向上させる最初のアプローチである。 大規模な実験により,SemCoTの効率と有効性の両方において,最先端の手法と比較して優れた性能を示した。 私たちのコードはhttps://github.com/YinhanHe123/SemCoT/で確認できます。

関連論文リスト

• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。