Fugu-MT 論文翻訳(概要): Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning

論文の概要: Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning

arxiv url: http://arxiv.org/abs/2601.17275v1
Date: Sat, 24 Jan 2026 03:18:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-27 15:23:07.495548
Title: Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning
Title（参考訳）: 安定かつ高能率LLM推論のための潜時空間コントラスト強化学習
Authors: Lianlei Shan, Han Chen, Yixuan Wang, Zhenjie Liu, Wei Li,
Abstract要約: textbfDeepLatent Reasoning(DLR)を提案する。このフレームワークは、試行錯誤コストを、高価なトークンレベルのフルシーケンス生成から連続潜在多様体へシフトさせる。実験により、DLRはより安定した訓練収束を実現し、より長い水平推論チェーンをサポートし、推論能力の持続的な蓄積を促進することが示されている。
参考スコア（独自算出の注目度）: 16.244366307890832
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: While Large Language Models (LLMs) demonstrate exceptional performance in surface-level text generation, their nature in handling complex multi-step reasoning tasks often remains one of ``statistical fitting'' rather than systematic logical deduction. Traditional Reinforcement Learning (RL) attempts to mitigate this by introducing a ``think-before-speak'' paradigm. However, applying RL directly in high-dimensional, discrete token spaces faces three inherent challenges: sample-inefficient rollouts, high gradient estimation variance, and the risk of catastrophic forgetting. To fundamentally address these structural bottlenecks, we propose \textbf{DeepLatent Reasoning (DLR)}, a latent-space bidirectional contrastive reinforcement learning framework. This framework shifts the trial-and-error cost from expensive token-level full sequence generation to the continuous latent manifold. Specifically, we introduce a lightweight assistant model to efficiently sample $K$ reasoning chain encodings within the latent space. These encodings are filtered via a dual reward mechanism based on correctness and formatting; only high-value latent trajectories are fed into a \textbf{frozen main model} for single-pass decoding. To maximize reasoning diversity while maintaining coherence, we design a contrastive learning objective to enable directed exploration within the latent space. Since the main model parameters remain frozen during optimization, this method mathematically eliminates catastrophic forgetting. Experiments demonstrate that under comparable GPU computational budgets, DLR achieves more stable training convergence, supports longer-horizon reasoning chains, and facilitates the sustainable accumulation of reasoning capabilities, providing a viable path toward reliable and scalable reinforcement learning for LLMs.
Abstract（参考訳）: 大規模言語モデル(LLM)は、表面レベルのテキスト生成において例外的な性能を示すが、複雑な多段階推論タスクを扱うというそれらの性質は、体系的な論理的推論よりもむしろ「統計的適合」の1つのままである。従来の強化学習(RL)は、これを緩和するために、‘概念-before-speak’のパラダイムを導入している。しかし、RLを高次元の離散トークン空間に直接適用することは、サンプル非効率なロールアウト、高勾配推定分散、破滅的な忘れ込みのリスクという3つの固有の課題に直面している。これらの構造的ボトルネックを根本的に解決するために,潜在空間の双方向強化学習フレームワークである \textbf{DeepLatent Reasoning (DLR) を提案する。このフレームワークは、試行錯誤コストを、高価なトークンレベルのフルシーケンス生成から連続潜在多様体へシフトさせる。具体的には、潜伏空間内での推論チェーンエンコーディングを効率よく$K$でサンプリングする軽量アシスタントモデルを提案する。これらのエンコーディングは、正しさとフォーマッティングに基づいて二重報酬機構を介してフィルタリングされ、高い値の潜在軌道のみを単一パス復号のために \textbf{frozen main model} に入力する。コヒーレンスを維持しながら推論の多様性を最大化するために、潜在空間内での指向的な探索を可能にするために、対照的な学習目標を設計する。主モデルパラメータは最適化中も凍結されているため、数学的には破滅的な忘れを排除している。実験によると、同等のGPU計算予算の下では、DLRはより安定したトレーニング収束を実現し、より長い水平推論チェーンをサポートし、推論機能の持続的な蓄積を促進し、LLMの信頼性とスケーラブルな強化学習に向けた実行可能なパスを提供する。

論文の概要: Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning

関連論文リスト