論文の概要: A Survey on Latent Reasoning

• arxiv url: http://arxiv.org/abs/2507.06203v2
• Date: Thu, 10 Jul 2025 16:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 12:24:00.083636
• Title: A Survey on Latent Reasoning
• Title（参考訳）: 潜時推論に関する調査
• Authors: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian,
• Abstract要約: 大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
• 参考スコア（独自算出の注目度）: 100.54120559169735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、特に中間ステップを言語化する明示的なチェーン・オブ・シント(CoT)推論によって導かれる場合、印象的な推論能力を示している。 CoTは解釈可能性と精度の両方を改善するが、自然言語推論への依存はモデルの表現帯域幅を制限する。 遅延推論は、モデルの連続的な隠蔽状態に完全にマルチステップの推論を実行し、トークンレベルの監督を取り除くことで、このボトルネックに対処する。 潜伏推論研究を進めるために、この調査は潜伏推論の出現分野を包括的に概観する。 まず、階層的表現が複雑な変換をどのようにサポートするかを強調し、推論のための計算基板としてのニューラルネットワーク層の基本的役割について検討する。 次に、アクティベーションベースのリカレンス、隠れ状態伝播、明示的推論トレースを圧縮または内部化する微調整戦略など、様々な潜在推論手法について検討する。 最後に,マスク付き拡散モデルによる無限深さ潜時推論などの高度なパラダイムについて論じる。 これらの視点を統一することにより、LLM認知のフロンティアにおける研究のための潜在的推論の概念的展望と今後の方向性を明らかにすることを目的とする。 最新の論文とリポジトリを収集するGitHubリポジトリは、https://github.com/multimodal-art-projection/LatentCoT-Horizon/で公開されている。

関連論文リスト

• Reason from Future: Reverse Thought Chain Enhances LLM Reasoning [18.637191592875155]
  我々はReason from Future(RFF)と呼ばれる新しい推論パラダイムを提案する。 RFFは、トップダウン計画とボトムアップ推論蓄積を組み合わせた双方向推論によって推論パスを生成する。 RFFは、複雑なタスクを解決するために、より正確で検索スペースの少ない従来のパラダイムよりも優れている。
  論文  参考訳（メタデータ） (2025-06-04T08:03:17Z)
• Ground-R1: Incentivizing Grounded Visual Reasoning via Reinforcement Learning [96.01617809845396]
  Ground-R1は、明示的なエビデンスや合理的アノテーションを必要とせずに、基礎的な視覚的推論を可能にする強化学習フレームワークである。 グラウンドR1は優れた性能を示し、不確実性認識、空間認識、反復的洗練などの創発的な認知行動を示す。
  論文  参考訳（メタデータ） (2025-05-26T17:51:47Z)
• Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning [21.444049407715955]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)のプロンプトによる複雑な推論タスクにおいて、優れたパフォーマンスを実現している。 潜在CoT推論への研究の関心が高まっており、潜伏空間内で推論が行われる。 本稿では,この推論パラダイムの概観と解析について述べる。
  論文  参考訳（メタデータ） (2025-05-22T15:26:51Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [39.613595533503144]
  CoT(Chain-of-Thought)プロンプトは、大規模言語モデルにおける推論能力を高める能力として広く認識されている。 CoTは、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを示す。 パターンベースICLにおけるCoTの性能を駆動する基本的明示的双対性を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。