論文の概要: Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.13106v1
• Date: Thu, 11 Jun 2026 09:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.7
• Title: Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning
• Title（参考訳）: Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning
• Authors: Jiayu Yang, Chao Chen, Shengen Wu, Yinhong Liu, Yuxuan Fan, Lujundong Li, Songning Lai, Chengwei Qin, Zhijiang Guo,
• Abstract要約: スイッチ可能な遅延推論フレームワークであるSWITCHを提案する。 The model emits swi> to enter latent mode and /swi> to exit。 SWITCHは、隠れ状態-再帰的推論手法よりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 38.056339518861506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent chain-of-thought compresses reasoning by replacing visible reasoning traces with continuous hidden-state recurrence, but existing formulations are difficult to optimize with standard on-policy reinforcement learning (RL) and hard to interpret causally. Our key insight is that a single pair of explicit boundary tokens can address both issues at once: discrete entry and exit anchors make the latent block compatible with standard on-policy RL, and the same anchors offer a natural foothold for mechanistic analysis. Motivated by this, we propose SWITCH, a switchable latent reasoning framework. The model emits <swi> to enter latent mode and </swi> to exit. Because the boundaries are ordinary discrete tokens, the GRPO policy ratio is well-defined at every decision point. The same anchors also expose the latent steps to direct probing and causal intervention. We train the model with a visible-to-latent curriculum and a Switch-GRPO objective that propagates gradients through recurrent latent computation. SWITCH consistently outperforms prior hidden-state-recurrence latent reasoning approaches at similar scale. Mechanistic analysis through the boundary tokens further reveals three findings: (i) <swi> is a sharply localised, learned switching policy rather than a stylistic artefact; (ii) the latent step it opens performs problem-specific, causally important computation rather than acting as an inert placeholder; and (iii) that computation is concentrated at a single hidden-state transition on entry. Together, these results show that hidden-state-recurrence latent reasoning is both RL-trainable and open to direct mechanistic analysis, including of how on-policy RL itself improves the model from the inside.
• Abstract（参考訳）: 潜在チェーン・オブ・シントは、可視的推論トレースを連続的な隠蔽状態の再発に置き換えることで推論を圧縮するが、既存の定式化は、標準的なオンライン強化学習(RL)で最適化することは困難であり、因果的解釈が困難である。 我々の重要な洞察は、一対の明示的な境界トークンが両方の問題に一度に対処できるということである: 離散的なエントリーアンカーと出口アンカーは、標準のオンラインRLと遅延ブロックを互換性を持たせ、同じアンカーは、機械的解析の自然な基盤を提供する。 そこで我々は,スイッチング可能な遅延推論フレームワークSWITCHを提案する。 The model emits <swi> to enter latent mode and </swi> to exit。 境界は通常の離散トークンであるため、GRPOポリシー比は決定点毎に明確に定義される。 同じアンカーは、直接調査と因果的介入のための潜伏ステップも露呈する。 我々は、このモデルを可視から潜時までのカリキュラムと、繰り返し潜時計算によって勾配を伝搬するスイッチ-GRPO目標を用いて訓練する。 SWITCHは、同様のスケールで、隠れ状態-帰納的推論アプローチよりも一貫して優れている。 境界トークンによる力学解析はさらに3つの発見を明らかにしている。 (i)<swi>は、様式的アーティファクトではなく、高度に局所化され、学習されたスイッチングポリシーである。 (二)不活性なプレースホルダーとして振る舞うのではなく、問題に特有かつ因果的に重要な計算を行うこと。 (iii)この計算は、エントリーにおいて単一の隠れ状態遷移に集中している。 これらの結果から, 隠れ状態再帰推論はRLの学習可能であり, 直接機械的解析が可能であり, オンラインRL自体が内部からモデルをどのように改善するかが示唆された。

関連論文リスト

• Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
  大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。 コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。 その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
  論文  参考訳（メタデータ） (2026-04-29T22:55:40Z)
• Amortized Reasoning Tree Search: Decoupling Proposal and Decision in Large Language Models [2.5170433424424874]
  Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルにおける厳格な推論能力を取り入れるための支配的なパラダイムとして、自らを確立している。 このアライメントプロセスにおいて重要な病理は、有効だが稀な(ベースモデル分布下での低様相)推論経路の体系的抑制である。 本稿では,ベースモデルの潜伏多様性を捨てることなく,この崩壊を防止すべく,ARTS(Amortized Reasoning Tree Search)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T11:52:50Z)
• Towards Unsupervised Causal Representation Learning via Latent Additive Noise Model Causal Autoencoders [1.9732490977700972]
  教師なし表現学習は、潜伏する生成因子を回復しようとする。 観測データから因果変数を遠ざけることは、監督なしでは不可能である。 本研究では、非教師付き発見のための強力な誘導バイアスとして、Latent Additive Noise Model Causal Autoencoder (LANCA)を提案する。
  論文  参考訳（メタデータ） (2025-12-15T10:52:30Z)
• Multi-Path Collaborative Reasoning via Reinforcement Learning [54.8518809800168]
  CoT(Chain-of-Thought)推論は、LLM(Large Language Models)の問題解決能力を大幅に向上させた。 最近の手法では、連続的な意味空間における推論を可能にするために、ソフトな抽象トークンを生成することでこの問題に対処しようとしている。 提案するM3PO(Multi-Path Perception Policy Optimization)は,推論プロセスに集団的洞察を明示的に注入する,新たな強化学習フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T10:05:46Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Hybrid Latent Reasoning via Reinforcement Learning [50.6763762323985]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。