論文の概要: Think in Latent, Explain in Language: Self-Explainable Latent Reasoning

• arxiv url: http://arxiv.org/abs/2608.13570v1
• Date: Wed, 01 Jul 2026 16:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.19953
• Title: Think in Latent, Explain in Language: Self-Explainable Latent Reasoning
• Title（参考訳）: 潜在言語を考えて、言語で説明する:自己説明可能な潜在推論
• Abstract要約: 自己説明可能な潜在推論(SELR)のための統合フレームワークを提案する。 SELRは1つのモデルを訓練し、効率的で本質的に説明可能な潜在推論を行う。 この設計により、生成された潜在表現がタスク効果と意味論的に解釈可能であることが保証される。
• 参考スコア（独自算出の注目度）: 60.882997917270934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent reasoning has emerged as a powerful alternative to text-based Chain-of-Thought (CoT), offering significant gains in computational efficiency by compressing verbose reasoning into compact embeddings. However, compressing reasoning into the latent space renders the thinking opaque, hindering its interpretability. Current methods present a stark trade-off: they either function as unexplainable ''black boxes'' (e.g., Coconut), where the latent reasoning is not human-readable, or rely on separate post-hoc decoders for explainability (e.g., Heima), introducing architectural overhead and decoupling the explanation from the actual reasoning process. In this work, we present a unified framework for Self-Explainable Latent Reasoning (SELR) that trains a single model to perform efficient and inherently explainable latent reasoning. Our core contribution is a novel multi-task training objective that optimizes for two goals simultaneously: (1) an Answer Loss that optimizes the latent reasoning trajectory to produce accurate final answers, and (2) a CoT Loss that explicitly trains the same model to decode its own latent representations back into human-understandable reasoning steps. This design ensures that generated latent representations are both task-effective and semantically interpretable, eliminating the need for external decoders. We validate the effectiveness of SELR on both Large Language Models (LLMs) and Vision-Language Models (VLMs), demonstrating that SELR achieves superior token efficiency and accuracy compared to baselines, while uniquely providing self-contained explainability without auxiliary models. Project page is available at https://jasondayuan.github.io/SELR/.
• Abstract（参考訳）: 潜在推論はテキストベースのChain-of-Thought(CoT)の強力な代替手段として現れ、冗長推論をコンパクトな埋め込みに圧縮することで計算効率を大幅に向上させた。 しかし、潜在空間への推論の圧縮は思考の不透明を招き、その解釈可能性を妨げる。 現在の手法では、説明不能な'ブラックボックス'(例:ココナッツ)として機能するか、説明可能性(例:ハイマ)のために別のポストホックデコーダに依存し、アーキテクチャ上のオーバーヘッドを導入し、実際の推論プロセスから説明を分離する。 本研究では,自己説明可能な潜在推論(SELR)のための統一的なフレームワークを提案する。 筆者らのコアコントリビューションは、2つの目標を同時に最適化する新しいマルチタスクトレーニング目標である。(1)潜在推論軌道を最適化して正確な最終回答を生成するAnswer Loss,(2)同じモデルを明示的に訓練して、その潜在表現を人間の理解可能な推論ステップに復号するCoT Lossである。 この設計は、生成された潜在表現がタスク効果と意味論的に解釈可能であることを保証し、外部デコーダの必要性を排除している。 本稿では,Large Language Models (LLMs) とVision-Language Models (VLMs) の両モデルにおけるSELRの有効性を検証するとともに,SELRがベースラインよりも優れたトークン効率と精度を実現し,補助モデルなしで自己完結型説明性を提供することを示した。 プロジェクトページはhttps://jasondayuan.github.io/SELR/.comで公開されている。

関連論文リスト

• Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression [42.15219720606396]
  大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。 潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。 連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T02:34:52Z)
• The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models [15.12701445445687]
  潜在CoTを用いた推論において,言語モデルが実際に重ね合わせを利用するかどうかを検討する。 スクラッチからトレーニングされたモデルだけが、重ね合わせを使うことの兆候を示します。 この結果は、連続連鎖推論において重畳がいつ、なぜ生じるのかを統一的に説明できる。
  論文  参考訳（メタデータ） (2026-04-07T18:59:32Z)
• CoLT: Reasoning with Chain of Latent Tool Calls [31.228763375347608]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高める重要な手法である。 ツールコールとして潜伏推論を実装する新しいフレームワークである「CoLT」を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:12:53Z)
• ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
  明示的な推論連鎖は、かなりの計算冗長性をもたらす。 近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。 我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:08:06Z)
• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Efficient Inference for Large Reasoning Models: A Survey [74.17203483365171]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。