論文の概要: Learning When to Think Aloud in Latent Reasoning

• arxiv url: http://arxiv.org/abs/2611.06108v1
• Date: Wed, 04 Nov 2026 07:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.018227
• Title: Learning When to Think Aloud in Latent Reasoning
• Title（参考訳）: レイトレント推論で耳を傾けることを学ぶ
• Abstract要約: VITALは、重要誘導型ハイブリッド推論フレームワークである。 情報トークンを、最も潜伏状態を維持しながらアンカーを推論するものとして口頭で表現する。 既存の完全遅延推論メソッドを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 55.47707753314037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent Chain-of-Thought (CoT) reasoning improves efficiency by shifting intermediate computation into continuous hidden states. However, fully latent methods often struggle on precision-critical tasks such as mathematical reasoning, while existing hybrid approaches retain substantial token-generation overhead. We introduce VITAL, an importance-guided hybrid reasoning framework that selectively verbalizes informative tokens as reasoning anchors while keeping most computation latent. A lightweight gating head dynamically selects between explicit token generation and direct hidden-state feedback. VITAL constructs hybrid trajectories from explicit CoT using token- importance estimation and trains the model through curriculum-based supervised training, followed by reinforcement learning with a reward that balances correctness and conciseness. Experiments show that VITAL consistently out- performs existing fully latent reasoning methods, achieving relative average accuracy gains of 9.6% on GPT-2 and 5.1% on Llama-3.2-1B at comparable reasoning lengths. Compared with hybrid baselines, VITAL achieves higher reasoning accuracy with substantially shorter reasoning trajectories on Qwen3-1.7B.
• Abstract（参考訳）: 潜在チェーン・オブ・ソート(CoT)推論は、中間計算を連続的な隠蔽状態にシフトすることで効率を向上する。 しかしながら、完全に遅延した手法は、しばしば数学的推論のような精度に重要なタスクに苦しむが、既存のハイブリッドアプローチはトークン生成のオーバーヘッドをかなり維持する。 重要誘導型ハイブリッド推論フレームワークであるVITALを導入し、情報トークンを推論アンカーとして選択的に言語化する。 軽量ゲーティングヘッドは、明示的なトークン生成と直接隠れ状態フィードバックを動的に選択する。 VITALは、トークン重要度推定を用いて、明示的なCoTからハイブリッドな軌跡を構築し、カリキュラムベースの教師付きトレーニングを通じてモデルを訓練し、その後、正しさと簡潔さのバランスをとるための強化学習を行う。 実験の結果、VITALは既存の完全遅延推論手法を一貫して上回り、GPT-2では9.6%、Llama-3.2-1Bでは5.1%の相対的な精度向上を達成した。 ハイブリッドベースラインと比較すると、VITALはQwen3-1.7Bの推論軌道をかなり短くすることで高い推論精度を達成する。

関連論文リスト

• Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning [14.096139058812946]
  本稿ではセパレータトークンを構造的セマンティックアンカーとして利用する適応型暗黙的推論フレームワークであるSep-Latentを提案する。 Sep-Latentは平均5.4トークンで56.8%の精度を達成し、従来の固定長暗黙のモデルよりも効率が大幅に向上した。
  論文  参考訳（メタデータ） (2026-10-16T04:39:25Z)
• Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
  本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。 微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
  論文  参考訳（メタデータ） (2026-06-15T05:02:46Z)
• Learning When to Sample: Confidence-Aware Self-Consistency for Efficient LLM Chain-of-Thought Reasoning [7.8668388431725695]
  大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)推論によって強い推論性能を達成する。 最近の自己整合性に基づくアプローチは、精度をさらに向上するが、複数の推論軌道のサンプリングと集約が必要である。 本稿では,単一経路と複数経路の推論を適応的に選択するための単一経路推論軌道を解析する信頼度対応決定フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-09T22:34:06Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Hybrid Latent Reasoning via Reinforcement Learning [50.6763762323985]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。