論文の概要: Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning

• arxiv url: http://arxiv.org/abs/2610.22924v1
• Date: Fri, 16 Oct 2026 04:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.765228
• Title: Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning
• Title（参考訳）: Sep-Latent: 自然圧縮アンカーとしてのセパレータトークン
• Abstract要約: 本稿ではセパレータトークンを構造的セマンティックアンカーとして利用する適応型暗黙的推論フレームワークであるSep-Latentを提案する。 Sep-Latentは平均5.4トークンで56.8%の精度を達成し、従来の固定長暗黙のモデルよりも効率が大幅に向上した。
• 参考スコア（独自算出の注目度）: 14.096139058812946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable success in complex reasoning through explicit Chain-of-Thought (CoT), but the associated computational overhead and token verbosity remain significant barriers to efficiency. While implicit reasoning in continuous latent spaces offers a promising alternative, existing methods like Coconut and CODI often rely on fixed-length latent sequences and suffer from representational collapse. In this paper, we propose Sep-Latent, an adaptive implicit reasoning framework that utilizes separator tokens as structural semantic anchors. By introducing an Attention-Decay mechanism, we force the model to aggregate and compress reasoning logic into these anchors during training. We then align explicit and implicit pathways through multi-level distillation across all layers to ensure logical consistency. Crucially, Sep-Latent enables dynamic reasoning depth by adaptively terminating the latent thinking phase based on query complexity. Experimental results on the GSM8k-Aug benchmark show that Sep-Latent achieves an accuracy of 56.8\% with an average of only 5.4 tokens, significantly outperforming prior fixed-length implicit models in efficiency while narrowing the performance gap with explicit CoT. Further analysis via PCA and symbolic variant testing confirms that our method ensures semantic grounding and exhibits superior robustness to perturbations.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、明らかに整合性 (CoT) による複雑な推論において顕著な成功を収めてきたが、関連する計算オーバーヘッドとトークンの冗長性は、効率にとって重要な障壁であり続けている。 連続ラテント空間における暗黙の推論は有望な代替手段であるが、CoconutやCODIのような既存の手法は、しばしば固定長ラテント列に依存し、表現的崩壊に悩まされる。 本稿では,セパレータトークンを構造的セマンティックアンカーとして利用する適応型暗黙的推論フレームワークであるSep-Latentを提案する。 Attention-Decay機構を導入することで、トレーニング中にモデルに推論ロジックを集約し、圧縮させます。 そして、論理的整合性を確保するために、すべての層にわたる多層蒸留を通して明示的で暗黙的な経路を整列する。 重要なことは、Sep-Latentはクエリの複雑さに基づいて潜在思考フェーズを適応的に終了させることで動的推論の深さを可能にする。 GSM8k-Augベンチマークの実験結果から、Sep-Latentは平均56.8\%の精度を平均5.4トークンで達成し、明示的なCoTで性能ギャップを狭めながら、前回の固定長暗黙のモデルよりもはるかに優れていた。 PCAおよびシンボル変分試験によるさらなる解析により,本手法が意味的接地を保証し,摂動に優れたロバスト性を示すことを確認した。

関連論文リスト

• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Selective Latent Thinking: Adaptive Compression of LLM Reasoning Chains [9.979461886634022]
  CoT (Explicit chain-of- Thought) 推論は、大規模言語モデルの推論能力を大幅に向上させる。 既存の潜在的推論法は、推論を一様圧縮可能であるとして扱い、精度クリティカルな中間段階を過度に圧縮する。 SLT(Selective Latent Thinking)は、冗長な推論スパンを潜在表現に選択的に圧縮するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T11:57:09Z)
• Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs [3.0215547730060206]
  AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
  論文  参考訳（メタデータ） (2026-03-16T10:06:05Z)
• CoLT: Reasoning with Chain of Latent Tool Calls [31.228763375347608]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高める重要な手法である。 ツールコールとして潜伏推論を実装する新しいフレームワークである「CoLT」を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:12:53Z)
• Chain Of Thought Compression: A Theoritical Analysis [24.613200477865572]
  Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。 最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
  論文  参考訳（メタデータ） (2026-01-29T11:42:03Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。