論文の概要: A Formal Comparison Between Chain-of-Thought and Latent Thought

• arxiv url: http://arxiv.org/abs/2509.25239v1
• Date: Thu, 25 Sep 2025 11:27:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.192402
• Title: A Formal Comparison Between Chain-of-Thought and Latent Thought
• Title（参考訳）: 思考の連鎖と潜在思考の形式的比較
• Authors: Kevin Xu, Issei Sato,
• Abstract要約: Chain-of-Thought (CoT) は、自然言語の中間ステップを明示的に生成することで、大きな言語モデルで推論を行う。 ループモデルにおける潜在思想は、連続潜在空間で直接動作し、離散言語表現を超えた計算を可能にする。
• 参考スコア（独自算出の注目度）: 32.84174396586435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) elicits reasoning in large language models by explicitly generating intermediate steps in natural language. In contrast, Latent Thought in looped models operates directly in the continuous latent space, enabling computation beyond discrete linguistic representations. While both approaches exploit iterative computation, their comparative capabilities remain underexplored. In this work, we present a formal analysis showing that Latent Thought in Looped Transformers enables parallel computation, which is more efficient than the inherently sequential process of CoT. In contrast, CoT leverages stochastic decoding to approximate solutions to problems where exact computation is intractable. These separations suggest the tasks for which depth-driven recursion is more suitable, thereby offering practical guidance for choosing between reasoning paradigms. Code is available at https://github.com/kevin671/cot-vs-loop.
• Abstract（参考訳）: Chain-of-Thought (CoT) は、自然言語の中間ステップを明示的に生成することで、大きな言語モデルで推論を行う。 対照的に、ループモデルにおける潜在思想は連続潜在空間で直接作用し、離散言語表現を超えた計算を可能にする。 どちらのアプローチも反復計算を利用するが、それらの比較能力は未探索のままである。 本稿では,ループ変換器における潜在思想が並列計算を可能にし,CoTの本質的にシーケンシャルなプロセスよりも効率的であることを示す。 対照的に、CoTは確率的復号化を利用して、正確な計算が難解な問題の解を近似する。 これらの分離は、深さ駆動再帰がより適したタスクを示唆し、推論パラダイムの選択のための実践的なガイダンスを提供する。 コードはhttps://github.com/kevin671/cot-vs-loopで入手できる。

関連論文リスト

• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Theorem-of-Thought: A Multi-Agent Framework for Abductive, Deductive, and Inductive Reasoning in Language Models [2.172419551358714]
  大規模言語モデル(LLM)は、自然言語推論タスク全体で強いパフォーマンスを示しているが、その推論プロセスは脆弱で解釈が難しいままである。 Theorem-of-Thought (ToTh)は、3つの並列エージェント間の協調として推論をモデル化する新しいフレームワークである。 シンボリック(WebOfLies)と数値(MultiArithm)の推論ベンチマークの実験は、ToThがCoT、セルフ一貫性、CoT-デコーディングを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-06-08T12:28:38Z)
• To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers [32.01426831450348]
  CoT(Chain-of-Thought)とLooped Transformerは、推論タスクのパフォーマンスを実証的に改善することが示されている。 それぞれの強みと限界を形式的に分析する。
  論文  参考訳（メタデータ） (2025-05-25T17:49:37Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought [56.71873693264532]
  連続CoTのD$ステップを持つ2層トランスが有向グラフ到達可能性問題を解くことができることを証明した。 我々の構成では、各連続思考ベクトルは複数の探索フロンティアを同時に符号化する重ね合わせ状態である。
  論文  参考訳（メタデータ） (2025-05-18T18:36:53Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• Generating Chain-of-Thoughts with a Pairwise-Comparison Approach to Searching for the Most Promising Intermediate Thought [70.30423016640749]
  CoT法(Chain-of- Thoughts)は、大規模言語モデルにステップバイステップの推論を誘導し、単純から複雑への問題解決を可能にする手法である。 大規模言語モデル (LLMs) による評価は、一般的にうるさく、信頼できないものであり、将来有望な中間的思考を選択する際の生成過程を誤解させる可能性がある。 本稿では,Vapnikの原理を動機として,ポイントワイドスコアではなくペアワイズ比較評価を用いて,有望な中間思考を探索する。
  論文  参考訳（メタデータ） (2024-02-10T09:51:03Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。