論文の概要: Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought

• arxiv url: http://arxiv.org/abs/2512.21711v1
• Date: Thu, 25 Dec 2025 15:14:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:54:34.016247
• Title: Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought
• Title（参考訳）: 潜伏トークンは考えるか?-連続的思考の因果的・敵対的分析
• Authors: Yuyi Zhang, Boyu Tang, Tianjie Ju, Sufeng Duan, Gongshen Liu,
• Abstract要約: 我々は、明示的なCoT(Chain-of-Thought)よりも優れた効率と安定性を主張するCOCONUT(Chain-of-Continuous-Thought)に焦点を当てる。 CoTトークンとは異なり、COCONUTトークンはステアリングに対する最小限の感度を示し、推論クリティカルな情報を欠いている。 MMLUとHotpotQAの結果は、COCONUTが一貫してデータセットのアーティファクトを利用して、真の推論なしにベンチマークパフォーマンスを膨らませていることを示している。
• 参考スコア（独自算出の注目度）: 16.907732581097417
• License:
• Abstract: Latent tokens are gaining attention for enhancing reasoning in large language models (LLMs), yet their internal mechanisms remain unclear. This paper examines the problem from a reliability perspective, uncovering fundamental weaknesses: latent tokens function as uninterpretable placeholders rather than encoding faithful reasoning. While resistant to perturbation, they promote shortcut usage over genuine reasoning. We focus on Chain-of-Continuous-Thought (COCONUT), which claims better efficiency and stability than explicit Chain-of-Thought (CoT) while maintaining performance. We investigate this through two complementary approaches. First, steering experiments perturb specific token subsets, namely COCONUT and explicit CoT. Unlike CoT tokens, COCONUT tokens show minimal sensitivity to steering and lack reasoning-critical information. Second, shortcut experiments evaluate models under biased and out-of-distribution settings. Results on MMLU and HotpotQA demonstrate that COCONUT consistently exploits dataset artifacts, inflating benchmark performance without true reasoning. These findings reposition COCONUT as a pseudo-reasoning mechanism: it generates plausible traces that conceal shortcut dependence rather than faithfully representing reasoning processes.
• Abstract（参考訳）: 潜在トークンは大規模言語モデル(LLM)における推論の強化に注目が集まっているが、その内部メカニズムはいまだ不明である。 本稿では, 信頼性の観点から問題を考察し, 根本的な弱点を明らかにする: 潜在トークンは忠実な推論を符号化するのではなく, 解釈不能なプレースホルダーとして機能する。 摂動に抵抗するが、それらは真の推論よりもショートカットの使用を促進する。 我々は、性能を維持しながら、明示的なCoT(Chain-of-Thought)よりも優れた効率と安定性を主張するCoCONUT(Chain-of-Continuous-Thought)に焦点を当てる。 これを2つの相補的なアプローチで検討する。 第一に、ステアリング実験は特定のトークンサブセット、すなわちCOCONUTと明示的なCoTを摂動させる。 CoTトークンとは異なり、COCONUTトークンはステアリングに対する最小限の感度を示し、推論クリティカルな情報を欠いている。 第二に、ショートカット実験はバイアスとアウト・オブ・ディストリビューションの設定下でモデルを評価する。 MMLUとHotpotQAの結果は、COCONUTが一貫してデータセットのアーティファクトを利用して、真の推論なしにベンチマークパフォーマンスを膨らませていることを示している。 これらの知見はCOCONUTを擬似推論機構として再配置し、推論過程を忠実に表現するのではなく、ショートカット依存を隠蔽する可塑性トレースを生成する。

関連論文リスト

• SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens [43.78883511257627]
  CoT(Chain-of-Thought)の推論は、効率クリティカルなアプリケーションへの大量展開を妨げる。 本稿では,SemCoTと呼ばれる意味的に整合した暗黙的CoTフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-28T20:11:54Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)
• MARCOS: Deep Thinking by Markov Chain of Continuous Thoughts [82.46857666702924]
  大規模言語モデル(LLM)における推論のための新しいパラダイムを提案する。 自己回帰的にトークンを生成する代わりに、連続的で高次元の「思考」のマルコフ連鎖として推論をモデル化する。 MARCOSはトークンベースのCoTに匹敵する性能を初めて達成し、GSM8Kでは4.7%、推論では15.7倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-09-29T16:44:22Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation? [32.02698064940949]
  CoT (Chain-of-Thought) はしばしばソフト推論問題に対して限られた利得を得る。 そこで本研究では,CoTのソフト推論タスクにおける動的・忠実性について検討する。
  論文  参考訳（メタデータ） (2025-08-27T12:25:29Z)
• Unveiling Confirmation Bias in Chain-of-Thought Reasoning [12.150655660758359]
  大型言語モデル(LLM)の推論能力を高めるために、チェーン・オブ・シークレット(CoT)プロンプトが広く採用されている。 本研究は認知心理学におけるテキスト確認バイアスのレンズを通してCoTの行動を理解する新しい視点を示す。
  論文  参考訳（メタデータ） (2025-06-14T01:30:17Z)
• Efficient Reasoning via Chain of Unconscious Thought [40.82356218832031]
  大規模推論モデル (LRM) は有望な性能を実現するが、冗長な推論プロセスによってトークン効率を損なう。 我々は,無意識思考の連鎖(CoUT)と呼ばれる新しい推論パラダイムを提案し,LRMのトークン効率を向上させる。 我々の研究は、モデルが有益無意識の思考を持ち、性能を犠牲にすることなく効率を向上できることを明らかにした。
  論文  参考訳（メタデータ） (2025-05-26T09:34:04Z)
• Efficient Inference for Large Reasoning Models: A Survey [74.17203483365171]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。