論文の概要: CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.20642v1
• Date: Thu, 08 Oct 2026 02:47:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.967639
• Title: CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
• Title（参考訳）: CoTS:大規模言語モデルにおける遅延推論のための競合的トークン選択
• Abstract要約: 遅延推論法は離散的連鎖(CoT)を超えて移動する トークンレベルでの継続的なアロケーションに対する遅延的介入を再編成する,トレーニングフリーなフレームワークとして,競争的トークン選択(CoTS)を提案する。 CoTSは、標準のCoTと最先端のトレーニングなし遅延推論手法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 16.353207659187085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent latent reasoning methods move beyond discrete Chain-of-Thought (CoT) by replacing sampled tokens with continuous soft embeddings or hidden states, enabling richer intermediate representations and preserving alternative reasoning paths. However, the need for latent reasoning varies across decoding steps: confident predictions favor discrete commitment, whereas ambiguous steps benefit from preserving multiple plausible alternatives. Existing approaches typically handle this variation through either global soft activation or hard switching based on uncertainty thresholds, treating latent intervention as an all-or-nothing decision rather than continuously adapting its strength. To address this limitation, we propose Competitive Token Selection (CoTS), a training-free framework that reframes latent intervention from binary mode selection into continuous allocation at the token level. CoTS uses the probability competition between the two most likely candidates to dynamically balance discrete commitment and soft exploration at each reasoning step. The second candidate represents the strongest alternative to the model's preferred continuation, so the separation between the two directly reflects the stability of the current discrete choice. When one candidate clearly dominates, CoTS keeps the representation close to the sampled discrete token to preserve a stable reasoning trajectory; as the competition strengthens, it increases the contribution of the soft representation to retain plausible alternatives. This competition-based allocation requires neither manually tuned switching thresholds nor mixing coefficients, and introduces no additional forward passes. Experiments across six reasoning benchmarks demonstrate that CoTS consistently outperforms standard CoT and state-of-the-art training-free latent reasoning methods. Our code is available at https://github.com/OkinoYu/CoTSReasoning.
• Abstract（参考訳）: 最近の遅延推論法は、サンプルトークンを連続したソフト埋め込みや隠れ状態に置き換え、中間表現をよりリッチにし、代替の推論経路を保存することによって、離散的連鎖(CoT)を超えている。 しかし、遅延推論の必要性はデコードステップによって異なる:自信のある予測は離散的なコミットメントを好むが、あいまいなステップは複数の有効な代替品を保存することの恩恵を受ける。 既存のアプローチは通常、グローバルなソフトアクティベーションまたは不確実性しきい値に基づくハード・スイッチングを通じてこの変化を処理し、その強度を継続的に適応するのではなく、潜在的介入をオール・オー・ナッシングの判断として扱う。 この制限に対処するため、私たちは、バイナリモードの選択からトークンレベルでの継続的なアロケーションへの遅延介入をリフレームする、トレーニング不要なフレームワークであるCompetitive Token Selection (CoTS)を提案する。 CoTSは、最も可能性の高い2つの候補間の確率競合を利用して、それぞれの推論ステップにおいて、離散的なコミットメントとソフトな探索を動的にバランスさせる。 第2の候補はモデルが好む継続に対する最強の代替となるため、両者の分離は現在の離散選択の安定性を直接反映する。 1つの候補が明確に支配されると、CoTSは標本化された離散トークンに近づき、安定な推論軌道を維持する。 この競合ベースのアロケーションは、手動で調整されたスイッチングしきい値も混合係数も必要とせず、追加のフォワードパスを導入しない。 6つの推論ベンチマークによる実験では、CoTSが標準のCoTや最先端のトレーニング不要な潜伏推論手法を一貫して上回っていることが示されている。 私たちのコードはhttps://github.com/OkinoYu/CoTSReasoning.comで利用可能です。

関連論文リスト

• WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
  基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。 WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。 WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-29T08:48:35Z)
• SLPO: Scaling Latent Reasoning via a Surrogate Policy [25.465651511203337]
  検証可能な報酬を伴う強化学習は、明示的なChain-of-Thought推論においてテスト時間スケーリングを誘発する主要なレシピとなっている。 潜在推論は、中間計算を連続ベクトルとして持つ。 本稿では,自己回帰的潜伏的推論器に結果回帰RLをもたらすために,サロゲート潜伏政策最適化を導入する。
  論文  参考訳（メタデータ） (2026-07-22T02:45:08Z)
• Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
  本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。 微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
  論文  参考訳（メタデータ） (2026-06-15T05:02:46Z)
• TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization [18.977861031175756]
  TARPOは純粋なRLフレームワークであり、各ステップで離散トークン生成と連続潜在推論を切り替える。 TARPOは、様々なベンチマークで、既存の明示的で潜在的なRLベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-06-04T08:30:53Z)
• When In-Distribution Gains Fail: Evaluating Weak-to-Strong Reward Models under Preference Shift [72.0686608132772]
  ゼロショット分布シフト下でのW2S選好学習について検討した。 弱い選好ラベルで訓練された強い学生は、選好データセットを移動できなくとも、流通に成功していることがわかった。 本稿では、事前訓練された強モデルの表現空間からの過剰なドリフトを制約する単純で効果的な正規化器であるRepresentation Anchoring(Anchor)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:30:49Z)
• FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
  CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。 我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
  論文  参考訳（メタデータ） (2026-04-12T15:35:08Z)
• SeLaR: Selective Latent Reasoning in Large Language Models [5.837876642209202]
  CoT(Chain-of-Thought)は、大規模言語モデルにおける推論の基盤となっている。 最近の潜在的推論手法は、離散トークンをソフト埋め込みに置き換えることで、この制限を緩和しようとする。 潜在推論のための軽量かつトレーニング不要なフレームワークであるSeLaRを提案する。
  論文  参考訳（メタデータ） (2026-04-09T14:32:07Z)
• Parallel Test-Time Scaling for Latent Reasoning Models [58.428340345068214]
  並列テスト時間スケーリング(TTS)は、大規模言語モデル(LLM)の拡張のための重要なアプローチである。 連続ベクトル空間において中間的推論が展開する潜在的推論の最近の進歩は、明示的なチェーン・オブ・サート(Chain-of-Thought)に対するより効率的な代替手段を提供する。 この作業は、上記の問題に対処することで、潜在推論モデルに対する並列TSを可能にする。
  論文  参考訳（メタデータ） (2025-10-09T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。