論文の概要: Rethinking On-Policy Self-Distillation for Thinking Models

• arxiv url: http://arxiv.org/abs/2607.05184v1
• Date: Mon, 06 Jul 2026 15:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.201438
• Title: Rethinking On-Policy Self-Distillation for Thinking Models
• Title（参考訳）: オンライン自己蒸留による思考モデルの再考
• Abstract要約: 自己蒸留は、言語モデルにおける自己改善のための有望なレシピである。 特権的な自己蒸留は、長い推論トレースに基づいて思考モデルを劣化させることを示す。 我々の診断は、この障害モードを、高エントロピーなフォーク位置での学習に特権を持つ教師のコンテキストがどう影響するかに関連付ける。
• 参考スコア（独自算出の注目度）: 32.29580112160733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-distillation is a promising recipe for self-improvement in language models. In this setting, a model can serve as its own teacher when given privileged information, such as a solution to a math problem. This seems especially appealing for thinking models, which can use test-time reasoning to absorb the privileged information. Surprisingly, we show that privileged self-distillation degrades thinking models on long reasoning traces: across five Qwen3 and OLMo thinking models evaluated on AIME24, AIME25, and HMMT25, privileged-context distillation causes a relative drop of up to 17% in avg@16 accuracy. The degradation scales with the amount of privileged context withheld from the student and is most pronounced at long rollout budgets, where thinking models otherwise obtain their largest gains. This failure mode is not specific to self-distillation: on-policy distillation (OPD) improves thinking models, but privileged OPD reverses these gains. Our diagnostics link this failure mode to how privileged teacher context reshapes learning at high-entropy forking positions, where multiple continuations remain plausible and may lead to different reasoning paths. Privileged context lowers fork rates in thinking-model rollouts but not in instruction-model rollouts. This leads to an interesting dichotomy, where privileged context can help instruction-tuned models but hurts stronger thinking models. The effect is visible when the student begins a self-correction branch, where privileged OPD penalizes sampled reconsideration tokens that vanilla OPD supports. Thinking models trained with a privileged teacher produce fewer verification, backtracking, and hedging markers, even after length normalization. These findings indicate that self-distillation for strong thinking models requires attention to token-level signal, especially around correction and reasoning steps.
• Abstract（参考訳）: 自己蒸留は、言語モデルにおける自己改善のための有望なレシピである。 この設定では、モデルが数学問題に対する解法などの特権情報を与えると、独自の教師として機能する。 これは、テストタイム推論を使って特権情報を吸収できる思考モデルにとって特に魅力的に思える。 AIME24, AIME25, HMMT25 で評価された 5 つの Qwen3 および OLMo の思考モデルにおいて, 特権的自己蒸留は Avg@16 精度で17% の相対的な低下を引き起こす。 この劣化は、学生が持つ特権付きコンテキストの量とともに規模を拡大し、長いロールアウト予算において最も顕著であり、そうでなければ思考モデルが最大の利益を得る。 オンライン蒸留(OPD)は思考モデルを改善するが、特権付きPDはこれらの利得を逆転させる。 我々の診断は、この失敗モードを、高エントロピーなフォーク位置での学習が、複数の継続が確実なままであり、異なる推論経路につながる可能性がある特権教師のコンテキストにリンクさせる。 Privilegedコンテキストは、思考モデルロールアウトではフォークレートを低下させるが、命令モデルロールアウトでは低下しない。 これは、特権付きコンテキストが命令調整されたモデルに役立つが、より強力な思考モデルを傷つける、興味深い二分法につながる。 この効果は、学生が自己補正ブランチを開始し、特権付きOPDは、バニラOPDがサポートするサンプル再考トークンを罰する。 特権教師で訓練されたモデルを考えることは、長さの正規化後も、検証、追跡、およびハッシュマーカーを少なくする。 これらの結果から,強い思考モデルに対する自己蒸留にはトークンレベルの信号,特に訂正と推論のステップに注意が必要であることが示唆された。

関連論文リスト

• Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models [38.84286306535778]
  第1の正しい接頭辞の停止は、標準的推論よりも21%の精度向上を示す。 早期停止のような一般的な効率戦略は、冗長な過度な考えを著しく減らすが、有害な過度な過度な考えを軽減できない。 我々の研究結果は言語のみの推論ベンチマークに一般化され、より広範な信頼性リスクとして有害な過ちを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-06-01T19:59:27Z)
• Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
  本稿では,学生と教師の相違を増す反自己蒸留法を提案する。 AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-12T06:40:43Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• Reasoning about Uncertainty: Do Reasoning Models Know When They Don't Know? [7.423494663010787]
  推論言語モデルは、多くの挑戦的なベンチマークで最先端(SOTA)レコードを設定している。 従来の言語モデルと同様に、推論モデルは不正確で確実な応答を生成する傾向があります。 これらのモデルをいつ、どの程度信頼するかを知ることは、現実のアプリケーションにおける推論モデルの安全なデプロイに不可欠である。
  論文  参考訳（メタデータ） (2025-06-22T21:46:42Z)
• How Well Can Reasoning Models Identify and Recover from Unhelpful Thoughts? [35.00173704760055]
  本研究では,4種類の不愉快な思考から推論モデルがどのように識別し,回復するかを検討する。 モデルは、最も無害な思考を特定するのに効果的であるが、それらが思考プロセスに注入されると、同じ思考から回復することが困難であることを示す。
  論文  参考訳（メタデータ） (2025-06-12T17:59:53Z)
• Does Thinking More always Help? Mirage of Test-Time Scaling in Reasoning Models [130.5487886246353]
  Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。 テスト時にもっと考えることは、本当により良い推論につながるのでしょうか? 過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
  論文  参考訳（メタデータ） (2025-06-04T17:55:09Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step [133.60124577507727]
  思考の連鎖は、素数大言語モデルに彼らの予測の合理化を口頭で示すよう促す。 オーダーオブマグニチュードの小さなモデルでも、チェーンオブ思想のプロンプトの恩恵を受けられることを示す。 そこで我々は,より大規模な教師モデルから抽出した合理化に基づいて,より小さな学生モデルを訓練する方法であるChain-of-Thought Distillation (SCoTD)を紹介した。
  論文  参考訳（メタデータ） (2023-06-24T20:15:07Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。