論文の概要: Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning
- arxiv url: http://arxiv.org/abs/2607.15736v1
- Date: Fri, 17 Jul 2026 08:15:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.791973
- Title: Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning
- Title（参考訳）: より良いスタートとより良い終了:圧縮推論のためのブートストラップ付き反復自己推論蒸留
- Abstract要約: BIRD(Bootstrapped Iterative Self-Reasoning Distillation)は、2段階の自己焼成蒸留法である。
まず、簡潔な指示の下でベースモデルから簡潔な解をサンプリングし、答えの正しいトレースのみを保持し、軽量なプロンプトスイッチSFTステップを実行する。
MATH-500 や AIME のベンチマーク上でのオンライン蒸留やコールドスタートよりも高い精度・効率のトレードオフを実現している。
- 参考スコア（独自算出の注目度）: 27.08087977200613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large reasoning models often solve problems through long chain-of-thought (CoT) traces, yet much of this computation is spent on redundant derivations, repeated self-verification, and detours that do not improve the final answer. Existing on-policy self-distillation methods reduce this cost by matching a student model to a concise copy of itself on prefixes sampled from the student's own rollouts. We show that this objective has an initialization bottleneck. Since supervision is applied only to visited prefixes, training from a verbose base model places the KL loss on contexts that are often noisy, redundant, or already off track. In such regions, a concise teacher can provide only local corrections, while the student continues to explore trajectories that an efficient reasoner should avoid. In this paper, we propose BIRD(Bootstrapped Iterative Self-Reasoning Distillation), a two-stage self-reasoning distillation method that improves the rollout distribution before on-policy training. BIRD first samples concise solutions from the base model under a brevity instruction, keeps only answer-correct traces, and performs a lightweight prompt-switch SFT step. The traces are generated with the brevity instruction but learned under the original task prompt, turning instruction-induced conciseness into a default reasoning behavior. Starting from this warm model, BIRD then applies on-policy reverse-KL distillation with a concise self-teacher, now on cleaner and more informative prefixes. Across Qwen3 series models, BIRD achieves a stronger accuracy-efficiency trade-off than prompting and cold-start on-policy distillation on MATH-500 and AIME benchmarks. On Qwen3-8B, it improves MATH-500 accuracy from 86.2% to 92.0% while reducing the average response length from 3,099 to 1,115 tokens. These results highlight prefix support as a central factor in efficient reasoning distillation.
- Abstract（参考訳）: 大規模な推論モデルは、長いチェーン・オブ・ソート(CoT)トレースを通じて問題を解くことが多いが、この計算の多くは、冗長な導出、繰り返しの自己検証、最終解を改善しないデトゥールに費やされている。
既存のオンライン自己蒸留法は、学生モデルと生徒自身のロールアウトからサンプリングした接頭辞の簡潔なコピーとをマッチングすることにより、このコストを削減している。
この目的には初期化ボトルネックがあることが示される。
監督は訪問した接頭辞にのみ適用されるため、冗長なベースモデルからのトレーニングは、しばしばうるさい、冗長、あるいは既に外れているコンテキストにKL損失を配置する。
このような地域では、簡潔な教師は局所的な修正しか行えず、学生は効率的な推論者が避けるべき軌跡を探求し続けている。
本稿では,2段階の自己放散蒸留法であるBIRD(Bootstrapped Iterative Self-Reasoning Distillation)を提案する。
BIRDは、まず、簡潔な指示の下でベースモデルから簡潔な解をサンプリングし、答えの正しいトレースのみを保持し、軽量なプロンプトスイッチSFTステップを実行する。
トレースは、簡潔な命令で生成されるが、元のタスクプロンプトで学習され、命令による簡潔さをデフォルトの推論動作に変換する。
BIRDは、この温かいモデルから始まり、簡潔な自己教育者による政治的逆KL蒸留を、今ではよりクリーンでより情報的な接頭辞に応用する。
Qwen3 シリーズモデル全体で BIRD は MATH-500 と AIME のベンチマーク上での極低温蒸留よりも高い精度と効率のトレードオフを実現している。
Qwen3-8Bでは、MATH-500の精度を86.2%から92.0%に改善し、平均応答長を3,099から1,115トークンに短縮した。
これらの結果は, 蒸留の効率的推論における中心的要因としてプレフィックスサポートを強調した。
関連論文リスト
- ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation [8.293675661721926]
オンライン蒸留は、学生モデルを独自の出力で訓練することで推論を改善するが、標準的なOPDは学生が生産する出力を、その情報によらず平等に扱う。
我々は制御されたフィルタリング実験において一貫した非対称性を観察し、OPDとOPSDの両方において、不正なSGOのトレーニングのみにおいて、正しいトレーニングよりも優れた結果が得られることを示した。
完全回答を含むロールアウトを必要とせずにこの信号を利用するために,LLMオンポリス蒸留における負の軌道重要度を重み付けするReNIOを導入する。
論文 参考訳（メタデータ） (2026-06-22T09:46:35Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Less is More: Early Stopping Rollout for On-Policy Distillation [39.392596318514244]
早期停止ロールアウト(Early Stopping Rollout, ESR)は, ロールアウト生成を第1応答トークンに限定した簡易かつ効果的な蒸留戦略である。
その結果,ESRはモデルサイズ,家族,タスク,トレーニング体制全体にわたって,フルロールアウトのOPD性能を上回っていることがわかった。
論文 参考訳（メタデータ） (2026-05-26T13:49:37Z) - DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。
標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。
既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
論文 参考訳（メタデータ） (2026-05-15T02:04:12Z) - Learning from Partial Chain-of-Thought via Truncated-Reasoning Self-Distillation [15.338493974763471]
本稿では,部分的推論トレースから正しい予測を生成するための軽量なポストトレーニング手法であるTrncated-Reasoning Self-Distillation(TRSD)を紹介する。
TRSDは, 様々な推論モデルに適用した場合, 精度のトレードオフをはるかに低減し, 絡み合った推論に対するロバスト性の向上を実証する。
論文 参考訳（メタデータ） (2026-02-27T06:08:22Z) - Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。
underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes'
underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
論文 参考訳（メタデータ） (2026-02-26T23:01:46Z) - Information-Preserving Reformulation of Reasoning Traces for Antidistillation [80.99448418790125]
本稿では, 推理トレースの消毒対策に関する情報保存手法を提案する。
この修正を行うために、小さな補助モデルが訓練され、最小の計算オーバーヘッドが生じる。
実験では、一部が、異なるサイズとタイプを持つ学生モデルの蒸留を一貫して破壊することを示した。
論文 参考訳（メタデータ） (2025-10-13T15:42:11Z) - Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning [21.70706473875226]
本稿では,2段階のフレームワークであるReinforcement Distillation (REDI)を提案する。
Supervised Fine-Tuning (SFT) による正のトレースから学ぶステージ1
ステージ2は、提案したREDI目標を通じて、正と負の両方のトレースを用いてモデルをさらに洗練する。
DPO/SimPOを併用したベースラインリジェクションサンプリングSFTやSFTよりもREDIが優れていることを示す実験的検討を行った。
論文 参考訳（メタデータ） (2025-05-30T17:47:17Z) - The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。
UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。
実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文 参考訳（メタデータ） (2025-03-04T18:56:03Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳（メタデータ） (2022-11-27T05:14:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。