論文の概要: Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2505.16782v2
• Date: Sat, 01 Nov 2025 07:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 16:14:22.011146
• Title: Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
• Title（参考訳）: 言語以外の推論: 遅延連鎖推論に関する包括的調査
• Authors: Xinghao Chen, Anhao Zhao, Heming Xia, Xuan Lu, Hanlin Wang, Yanjun Chen, Wei Zhang, Jian Wang, Wenjie Li, Xiaoyu Shen,
• Abstract要約: 大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、複雑なタスクにおいて印象的なパフォーマンスを示している。 テクスチレントCoT推論には研究の関心が高まり、推論プロセスは潜在空間に埋め込まれている。 本稿では,このパラダイムの包括的概要を提示し,体系的な分類体系を確立することを目的とする。
• 参考スコア（独自算出の注目度）: 29.836545690130478
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have shown impressive performance on complex tasks through Chain-of-Thought (CoT) reasoning. However, conventional CoT relies on explicitly verbalized intermediate steps, which constrains its broader applicability, particularly in abstract reasoning tasks beyond language. To address this, there has been growing research interest in \textit{latent CoT reasoning}, where the reasoning process is embedded within latent spaces. By decoupling reasoning from explicit language generation, latent CoT offers the promise of richer cognitive representations and facilitates more flexible, faster inference. This paper aims to present a comprehensive overview of this emerging paradigm and establish a systematic taxonomy. We analyze recent advances in methods, categorizing them from token-wise horizontal approaches to layer-wise vertical strategies. We then provide in-depth discussions of these methods, highlighting their design principles, applications, and remaining challenges. We hope that our survey provides a structured foundation for advancing this promising direction in LLM reasoning. The relevant papers will be regularly updated at https://github.com/EIT-NLP/Awesome-Latent-CoT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、複雑なタスクにおいて印象的なパフォーマンスを示している。 しかし、従来のCoTは、特に言語以外の抽象的推論タスクにおいて、より広範な適用性を制限する、明示的に言語化された中間ステップに依存している。 これを解決するために、潜在空間内に推論プロセスが埋め込まれる「textit{latent CoT reasoning}」の研究関心が高まっている。 推論を明示的な言語生成から切り離すことによって、潜在CoTはよりリッチな認知表現の約束を提供し、より柔軟で高速な推論を促進する。 本稿では,このパラダイムの包括的概要を提示し,体系的な分類体系を確立することを目的とする。 我々は最近の手法の進歩を分析し、トークンワイドな水平アプローチから層ワイドな垂直戦略に分類する。 次に、これらの手法について詳細な議論を行い、設計原則、アプリケーション、そして残りの課題を強調します。 LLM推論におけるこの有望な方向性を推し進めるための、構造化された基盤を提供することを期待します。 関連論文はhttps://github.com/EIT-NLP/Awesome-Latent-CoT.comで定期的に更新される。

関連論文リスト

• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
  推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。 大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。 本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
  論文  参考訳（メタデータ） (2025-04-04T04:04:56Z)
• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Advancing Reasoning in Large Language Models: Promising Methods and Approaches [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて著しく成功している。 複雑な推論スパンニング論理推論、数学的問題解決、コモンセンス推論、そして多段階推論を実行する能力は、人間の期待に届かない。 本調査は, LLMにおける推論向上技術に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-02-05T23:31:39Z)
• Demystifying Chains, Trees, and Graphs of Thoughts [20.980650840083385]
  利用構造の基本クラスを特定することに集中し、これらの構造表現を分析する。 本研究は,提案した分類法を用いて既存のプロンプト方式と比較し,特定の設計選択が性能とコストの異なるパターンにどのように寄与するかを論じる。
  論文  参考訳（メタデータ） (2024-01-25T16:34:00Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。