論文の概要: How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?

• arxiv url: http://arxiv.org/abs/2602.22441v1
• Date: Wed, 25 Feb 2026 22:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.427667
• Title: How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?
• Title（参考訳）: 弱視と強視下での潜時共振法
• Authors: Yingqian Cui, Zhenwei Dai, Bing He, Zhan Shi, Hui Liu, Rui Sun, Zhiji Liu, Yue Xing, Jiliang Tang, Benoit Dumoulin,
• Abstract要約: 我々は、プロセスにおける潜伏表現の役割と振舞いをよりよく理解するために、潜伏推論手法の包括的な分析を行う。 潜在表現は複数の可能性をエンコードできるが、推論プロセスは構造化検索を忠実に実装していない。 より強い監督はショートカット行動を緩和するが、多種多様な仮説を維持するために潜伏表現の能力を制限する。
• 参考スコア（独自算出の注目度）: 45.11635323173876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent reasoning has been recently proposed as a reasoning paradigm and performs multi-step reasoning through generating steps in the latent space instead of the textual space. This paradigm enables reasoning beyond discrete language tokens by performing multi-step computation in continuous latent spaces. Although there have been numerous studies focusing on improving the performance of latent reasoning, its internal mechanisms remain not fully investigated. In this work, we conduct a comprehensive analysis of latent reasoning methods to better understand the role and behavior of latent representation in the process. We identify two key issues across latent reasoning methods with different levels of supervision. First, we observe pervasive shortcut behavior, where they achieve high accuracy without relying on latent reasoning. Second, we examine the hypothesis that latent reasoning supports BFS-like exploration in latent space, and find that while latent representations can encode multiple possibilities, the reasoning process does not faithfully implement structured search, but instead exhibits implicit pruning and compression. Finally, our findings reveal a trade-off associated with supervision strength: stronger supervision mitigates shortcut behavior but restricts the ability of latent representations to maintain diverse hypotheses, whereas weaker supervision allows richer latent representations at the cost of increased shortcut behavior.
• Abstract（参考訳）: 潜在推論は、最近、推論パラダイムとして提案され、テキスト空間の代わりに潜在空間のステップを生成することで多段階推論を行う。 このパラダイムは、連続的な潜在空間で多段階の計算を行うことで、離散言語トークンを超える推論を可能にする。 潜伏推論の性能向上に焦点をあてた研究は数多くあるが、その内部メカニズムは未だ十分に研究されていない。 本研究では,プロセスにおける潜在表現の役割と振舞いをよりよく理解するために,潜在推論手法を包括的に分析する。 我々は、監督レベルが異なる潜在的推論手法にまたがる2つの重要な問題を同定する。 まず,潜伏推論に頼らずに高精度なショートカット動作を観察する。 第二に、潜時推論は、潜時空間におけるBFSライクな探索をサポートし、潜時表現は複数の可能性をエンコードできるが、その推論過程は構造的探索を忠実に実装するのではなく、暗黙的なプルーニングと圧縮を示す。 より強い監督はショートカット行動を緩和するが、多彩な仮説を維持するために潜伏表現の能力を制限する一方、弱い監督はショートカット行動の増加を犠牲にしてよりリッチな潜伏表現を可能にする。

関連論文リスト

• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
  本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。 思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。 本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
  論文  参考訳（メタデータ） (2025-12-30T05:09:11Z)
• Beware of Reasoning Overconfidence: Pitfalls in the Reasoning Process for Multi-solution Tasks [54.31998314008198]
  大きな言語モデル(LLM)は、単一の正しい答えを必要とするタスクの推論において優れているが、マルチソリューションタスクでは不十分である。 我々はこの制限を、不完全解集合における不完全確実性を表現する傾向という、不確実な過信(textbfreasoning overconfidence)に起因している。 この仮説は, 思考経路の狭いセットに早急に収束すると, 過信が生じることを示唆するものである。
  論文  参考訳（メタデータ） (2025-12-01T14:35:06Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。