論文の概要: MI-Distillation: Selecting from Model-Interpolated Instruct-Reasoning Data Spectrum for Chain-of-Thought Distillation
- arxiv url: http://arxiv.org/abs/2608.29623v1
- Date: Sun, 30 Aug 2026 07:32:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.024535
- Title: MI-Distillation: Selecting from Model-Interpolated Instruct-Reasoning Data Spectrum for Chain-of-Thought Distillation
- Title（参考訳）: MI蒸留--モデル補間インストラクション共振データスペクトルから選択-
- Abstract要約: モデルを用いて連続的なインストラクション・推論データスペクトルを構築するフレームワークである textbfMI-Distillation を提案する。
推理ベンチマーク実験により、MI蒸留は強力なロングCoTベースラインよりも小さなモデルCoT蒸留を一貫して改善することが示された。
- 参考スコア（独自算出の注目度）: 24.03703269014943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large reasoning models (LRMs) have shown strong performance on complex problems through long chain-of-thought (Long CoT) reasoning. However, distilling such trajectories into smaller student models remains challenging: direct Long CoT supervision often provides limited gains and can be less effective than concise Short CoT rationales. In this work, we investigate this phenomenon from a gradient-centric perspective. Our analysis shows that Long CoT induces larger gradient magnitudes and more concentrated update directions than Short CoT, with this effect becoming more pronounced as student model capacity increases. These findings suggest that effective Long CoT distillation requires balancing the reasoning information density of reasoning trajectories with their distributional alignment to the student model. Motivated by this insight, we propose \textbf{M}odel \textbf{I}nterporlation \textbf{Distillation} (\textbf{MI-Distillation}), a framework that constructs a continuous Instruct-Reasoning data spectrum through model interpolation. To select suitable trajectories from this spectrum, we further introduce \textbf{Seq}uential \textbf{L}earnable \textbf{S}urprisal \textbf{S}core (\textbf{SeqLSS}), which favors reasoning paths that are both informative and learnable for the student. Extensive experiments on reasoning benchmarks show that MI-Distillation consistently improves small model CoT distillation over strong Long CoT baselines.
- Abstract（参考訳）: 大規模推論モデル(LRM)の最近の進歩は、長いチェーン・オブ・シークレット(Long CoT)推論を通じて複雑な問題に対して強い性能を示している。
しかし、このような軌跡を小さな学生モデルに蒸留することは依然として困難であり、直接的なロングCoT監督は、しばしば限られた利得を提供し、簡潔なショートCoT論理よりも効果が低い。
本研究では,この現象を勾配中心の観点から検討する。
分析の結果,Long CoTはShort CoTよりも勾配等級が大きく,更新方向が高められ,学生モデルの容量が増大するにつれて,この効果がより顕著になることがわかった。
これらの結果から,Long CoT蒸留には,推論軌道の推論情報密度と,学生モデルとの分布アライメントのバランスが必要であることが示唆された。
この知見により、モデル補間により連続的なインストラクタ推論データスペクトルを構成するフレームワークである \textbf{M}odel \textbf{I}nterporlation \textbf{Distillation} (\textbf{MI-Distillation})を提案する。
このスペクトルから適切なトラジェクトリを選択するために、さらに、学生にとって情報的かつ学習可能な推論パスを好んで好む、 \textbf{Seq}uential \textbf{L}earnable \textbf{S}urprisal \textbf{S}core (\textbf{SeqLSS})を導入する。
推理ベンチマークの大規模な実験により、MI蒸留は強力なロングCoTベースラインよりも小さなモデルCoT蒸留を一貫して改善することが示された。
関連論文リスト
- LoRi: Low-Rank Distillation for Implicit Reasoning [7.490026305145753]
Implicit chain-of- Thought(iCoT)メソッドは、大きな言語モデルでの推論を内部化することを目的としているが、しばしば明示的なCoTプロンプトを過小評価している。
教師と学生の軌跡を共有低ランクテンソル部分空間で整列させることにより推論を伝達する低ランク蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-03T18:05:50Z) - ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning [69.64972562984882]
提案するThoughtFoldは,よりきめ細かい選好学習を,効率的な推論のための冗長探索に活用するフレームワークである。
ThoughtFoldは効率を大幅に向上させる。
最先端の精度を維持しつつ、DeepSeek-R1-Distill-Qwen-7Bのトークン使用量を約56%削減する。
論文 参考訳（メタデータ） (2026-06-02T11:21:27Z) - On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning [63.41902113656453]
長いチェーン・オブ・ソート(CoT)軌道上でのSFT(Supervised Fine-Tuning)は、大きな推論モデルを構築する上で重要なフェーズとなっている。
2つの競合モデルによって生成された2つの検証されたCoT軌道源を用いて比較研究を行う。
textttDeepSeek-R1-0528データ上のSFTは、トレーニング損失を著しく低減するが、一般化性能は著しく低下する。
論文 参考訳（メタデータ） (2026-04-02T07:00:54Z) - The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning [76.05038073223152]
有効かつ学習可能なLong CoTトラジェクトリは、統一された視点で安定な分子様構造を特徴とすることを示す。
有効セマンティック異性体を導入し, 高速エントロピー収束を促進する結合のみが安定なLong CoT学習を支援することを示す。
本稿では,効率の良いLong CoT構造の合成を導出する分布移動グラフ法であるMole-Synを提案する。
論文 参考訳（メタデータ） (2026-01-09T18:39:01Z) - EPiC: Towards Lossless Speedup for Reasoning Training through Edge-Preserving CoT Condensation [37.6583581020347]
資源効率のよい推論学習におけるCoT凝縮の問題点について検討する。
本研究では,各CoTトレースの初期セグメントと最終セグメントのみを選択的に保持するエッジ保存凝縮法 EPiC を提案する。
論文 参考訳（メタデータ） (2025-06-04T17:49:10Z) - TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。
我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-06-03T09:23:41Z) - Enhancing Long-Chain Reasoning Distillation through Error-Aware Self-Reflection [64.73809794561305]
errOr-aware self-ReflectION (ORION) は、エラー・アウェア・リフレクション(Error-Aware Reflection)プロセスを通じて教師のCoTを洗練するフレームワークである。
複数の数学的推論ベンチマークの実験では、ORIONはすべてのベースラインに対して2%以上パフォーマンスを継続的に改善している。
論文 参考訳（メタデータ） (2025-05-28T08:57:03Z) - Long-Short Chain-of-Thought Mixture Supervised Fine-Tuning Eliciting Efficient Reasoning in Large Language Models [23.34070841541423]
LS-Mixture SFT(Long-Short Chain-of-Thought Mixture Supervised Fine-Tuning)を提案する。
LS-Mixture SFTでトレーニングしたモデルと直接SFTでトレーニングしたモデルでは,平均精度が2.3%向上した。
この研究は、教師付き微調整によって推論能力を持つ非推論モデルを実現するアプローチを提供する。
論文 参考訳（メタデータ） (2025-05-06T12:18:11Z) - Deconstructing Long Chain-of-Thought: A Structured Reasoning Optimization Framework for Long CoT Distillation [22.875285119636235]
R1蒸留スキームは、推論能力の強化した費用対効果モデルの訓練に有望なアプローチとして登場した。
本研究では, 蒸留データの普遍性を検証し, 長鎖推論能力の効率的な伝達を可能にする重要な成分を同定する。
蒸留データ強化フレームワークであるDLCoT(Deconstructing Long Chain-of-Thought)を提案する。
論文 参考訳（メタデータ） (2025-03-20T17:46:38Z) - Small Models Struggle to Learn from Strong Reasoners [14.895026967556088]
小さなモデルは、大きなモデルからの長い連鎖推論や蒸留の恩恵を受けない。
我々は、長いCoTの例と短いCoTの例を組み合わせて推論の複雑さをバランスさせる戦略であるMix Distillationを提案する。
実験により, 混合蒸留は, いずれのデータ単独でのトレーニングよりも, 小型モデル推算性能を著しく向上させることが示された。
論文 参考訳（メタデータ） (2025-02-17T18:56:15Z) - When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。
本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
論文 参考訳（メタデータ） (2025-02-11T05:28:59Z) - SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。
そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。
忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
論文 参考訳（メタデータ） (2023-05-03T03:47:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。