論文の概要: Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation

• arxiv url: http://arxiv.org/abs/2610.17607v1
• Date: Tue, 13 Oct 2026 02:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:15:08.778618
• Title: Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation
• Title（参考訳）: 単語よりも音が聞こえない事実--長いCoT蒸留の行動的エッセンス
• Abstract要約: ロングチェーン・オブ・思想(CoT)蒸留は言語モデルの推論能力を大幅に向上させる。 現在のパイプラインは、さまざまなプロンプトにまたがる推論トレースを集めるために、拒絶サンプリングに依存している。 欠点のある推論軌跡や制限されたプロンプトセットにのみトレーニングを行うことで、ほぼ同等のパフォーマンスが得られることが分かりました。
• 参考スコア（独自算出の注目度）: 37.083602872976826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While long chain-of-thought (CoT) distillation significantly improves the reasoning abilities of language models, its underlying mechanism remains poorly understood. Current pipelines generally rely on rejection sampling to gather reasoning traces across diverse prompts, assuming that factual correctness and broad problem coverage are indispensable. Surprisingly, we find that training exclusively on flawed reasoning trajectories or a restricted prompt set yields nearly comparable performance. Driven by this counterintuitive finding, we propose the Behavioral Hypothesis: the essence of Long-CoT distillation is behavioral alignment with structured reasoning patterns, rather than factual knowledge memorization. We then validate this by demonstrating substantial reasoning gains even when models are fine-tuned exclusively on previously mastered problems-effectively isolating behavioral alignment from novel knowledge injection. Having established that reasoning patterns are the true bottleneck, we investigate how to learn them across varying levels of complexity optimally. We reveal a critical interplay: while the recent probability-based loss excels at learning simple patterns, the standard cross-entropy loss is essential for scaling to complex CoTs. We believe these insights demystify CoT distillation and provide a principled foundation for the future development of reasoning models. Code is available on https://github.com/yuyongcan/Long-CoT-Distillation.
• Abstract（参考訳）: 長いチェーン・オブ・シント(CoT)蒸留は言語モデルの推論能力を大幅に向上させるが、その基盤となるメカニズムはよく分かっていない。 現在のパイプラインは、事実の正しさと広範な問題カバレッジが不可欠であると仮定して、さまざまなプロンプトにまたがる推論トレースを収集するために、一般的に拒絶サンプリングに依存している。 驚くべきことに、障害のある推論軌跡や制限されたプロンプトセットのみをトレーニングすることで、ほぼ同等のパフォーマンスが得られる。 この逆直感的な発見によって、我々は行動仮説(英語版)を提案する: 長いCoT蒸留の本質は、実際の知識記憶よりも構造的推論パターンとの振舞いのアライメントである。 次に,従来の知識注入から行動アライメントを効果的に分離する問題のみにモデルが微調整されている場合においても,かなりの推論ゲインを示すことによってこれを検証する。 推論パターンが真のボトルネックであることを証明し、様々なレベルの複雑さを最適に学習する方法を調査する。 最近の確率に基づく損失は単純なパターンの学習において優れていますが、複雑なCoTへのスケーリングには標準的なクロスエントロピー損失が不可欠です。 我々はこれらの知見がCoT蒸留をデミスティフィケートし、推論モデルの将来の発展の基礎となると信じている。 コードはhttps://github.com/yuyongcan/Long-CoT-Distillationで入手できる。

関連論文リスト

• Decoding Answers Before Chain-of-Thought: Evidence from Pre-CoT Probes and Activation Steering [5.427346259545067]
  CoT(Chain-of- Thought)は、大規模言語モデルにおける推論機能のスケーリングの中心となっている。 命令調整モデルがCoTを生成する前に解答を決定する場合が多いことを示す。
  論文  参考訳（メタデータ） (2026-03-02T04:33:55Z)
• ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
  明示的な推論連鎖は、かなりの計算冗長性をもたらす。 近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。 我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:08:06Z)
• Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation [82.2288581878096]
  本稿では,問題複雑性に基づいてモデルに推論深度を動的に調整する難易度推論の枠組みを提案する。 モデルにそのような動的推論経路を与えることができ、アーキテクチャ上の変更を加えることなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:40:13Z)
• The Challenge of Teaching Reasoning to LLMs Without RL or Distillation [31.973226821366325]
  推論可能な言語モデルは、長く明示的なChain-of-Thoughtトレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。 我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。 結果として得られたモデルは、はるかに大きなtexttQwen2.5-Math-72B-Instruct よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。
  論文  参考訳（メタデータ） (2025-07-14T01:14:50Z)
• EPiC: Towards Lossless Speedup for Reasoning Training through Edge-Preserving CoT Condensation [37.6583581020347]
  資源効率のよい推論学習におけるCoT凝縮の問題点について検討する。 本研究では,各CoTトレースの初期セグメントと最終セグメントのみを選択的に保持するエッジ保存凝縮法 EPiC を提案する。
  論文  参考訳（メタデータ） (2025-06-04T17:49:10Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。