論文の概要: Efficient Reasoning via Thought-Training and Thought-Free Inference

• arxiv url: http://arxiv.org/abs/2511.03408v1
• Date: Wed, 05 Nov 2025 12:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.422178
• Title: Efficient Reasoning via Thought-Training and Thought-Free Inference
• Title（参考訳）: 思考訓練と思考自由推論による効率的な推論
• Authors: Canhui Wu, Qiong Cao, Chao Xue, Wei Xi, Xiaodong He,
• Abstract要約: textbf3TF (textbfThought-textbfTraining and textbfThought-textbfFree inference) は,短時間の視点で効率的な推論を行うフレームワークである。 まず、推論モードと非推論モードの両方で動作可能なハイブリッドモデルをトレーニングし、さらにCoTアノテートデータでトレーニングし、構造化推論の内部化を行う。 圧縮ベースのアプローチとは異なり、3TFは非共振出力の推論品質を改善し、モデルを可能にする。
• 参考スコア（独自算出の注目度）: 26.7513102215969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have leveraged explicit Chain-of-Thought (CoT) prompting to improve reasoning accuracy. However, most existing methods primarily compress verbose reasoning outputs. These Long-to-Short transformations aim to improve efficiency, but still rely on explicit reasoning during inference. In this work, we introduce \textbf{3TF} (\textbf{T}hought-\textbf{T}raining and \textbf{T}hought-\textbf{F}ree inference), a framework for efficient reasoning that takes a Short-to-Long perspective. We first train a hybrid model that can operate in both reasoning and non-reasoning modes, and then further train it on CoT-annotated data to internalize structured reasoning, while enforcing concise, thought-free outputs at inference time using the no-reasoning mode. Unlike compression-based approaches, 3TF improves the reasoning quality of non-reasoning outputs, enabling models to perform rich internal reasoning implicitly while keeping external outputs short. Empirically, 3TF-trained models obtain large improvements on reasoning benchmarks under thought-free inference, demonstrating that high quality reasoning can be learned and executed implicitly without explicit step-by-step generation.
• Abstract（参考訳）: 大規模言語モデル (LLM) の最近の進歩は、推論精度を向上させるために明示的なChain-of-Thought (CoT) を活用している。 しかし、既存のほとんどの手法は、主に冗長推論出力を圧縮する。 これらのLong-to-Short変換は効率の向上を目的としているが、推論中に明確な推論に依存している。 本研究では, ショート・トゥ・ロングの観点からの効率的な推論のためのフレームワークである \textbf{3TF} (\textbf{T}hought-\textbf{T}raining と \textbf{T}hought-\textbf{F}ree inference を導入する。 まず、推論モードと非推論モードの両方で動作可能なハイブリッドモデルをトレーニングし、さらにCoTアノテートしたデータでトレーニングし、構造化推論を内部化します。 圧縮ベースのアプローチとは異なり、3TFは非共振出力の推論品質を改善し、外部出力を短く保ちながら、モデルが暗黙的にリッチな内部推論を行うことを可能にする。 経験的に、3TF学習モデルは、思考自由推論の下での推論ベンチマークを大幅に改善し、明示的なステップバイステップ生成なしに、高品質な推論を学習し、暗黙的に実行することができることを示した。

関連論文リスト

• FRIT: Using Causal Importance to Improve Chain-of-Thought Faithfulness [7.721663297811698]
  CoT(Chain-of- Thought)推論は,複雑なタスクにおける大規模言語モデルのパフォーマンス向上のための強力なツールとして登場した。 最近の研究は、推論ステップが最終回答に因果的に影響を与えず、不安定で信頼できないアウトプットを生み出していることを示している。 本稿では、因果一貫性のある推論を生成するためにモデルをトレーニングするスケーラブルなアライメント手法であるFhithful Reasoning via Intervention Training (FRIT)を紹介する。
  論文  参考訳（メタデータ） (2025-09-10T07:07:17Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。