論文の概要: Steer, Don't Tell: Breaking Reasoning Plateaus with Reachability-Aligned Self-Distillation

• arxiv url: http://arxiv.org/abs/2611.00796v1
• Date: Sat, 31 Oct 2026 10:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.432991
• Title: Steer, Don't Tell: Breaking Reasoning Plateaus with Reachability-Aligned Self-Distillation
• Title（参考訳）: Steer, Don't tell: Breaking Reasoning Plateaus with Reachability-Aligned Self-Distillation
• Abstract要約: 大規模な推論モデルのポストトレーニングは、難しい問題に対して不十分なままである。 従来の研究は、専門的軌道の教師付き微調整と強化学習を統合することで、この問題に対処している。 これらの結果は,学生が到達可能な推論行動に合わせると,特権指導が効果的な自己改善データとなることを示している。
• 参考スコア（独自算出の注目度）: 77.427080309058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post training for large reasoning models remains insufficient on challenging problems, whose correct trajectories are hard to sample. Though prior works address this difficulty by integrating supervised fine tuning on expert trajectories with reinforcement learning, such external experts are not always available. Existing self improvement methods instead use reference solutions to create a privileged self-teacher. Yet privileged teacher correctness does not imply student reachability. Solution conditioning shifts the teacher distribution toward actions unlikely under the unprivileged student, producing seemingly "correct" trajectories that are unreachable or even mal-formed learning targets. Accordingly, we identify reachability alignment as the key to self constructed supervision and propose Self-Steered Reasoner (SSR). SSR realizes this principle through student support projection, which transforms the privileged teacher distribution into a directional signal only over reasoning actions locally reachable under the unguided student. Verification then retains correct trajectories sampled from this reachable space. To further boost the sampling efficiency, an iterative refinement framework is adopted, using diagnostic guidance based on current trajectories. On problems with pass@64 = 0 even after extensive RL, SSR recovers correct and learnable trajectories for 74.6% without parameter updates. Fine tuning on these trajectories followed by resumed reinforcement learning improves aggregate accuracy by 4.9 percentage points on AIME25/26 and HMMT26. These results show that privileged guidance becomes effective self-improvement data when aligned with the reasoning actions the student can reach.
• Abstract（参考訳）: 大規模な推論モデルのポストトレーニングは、正しい軌道のサンプリングが難しい困難な問題に対して不十分なままである。 従来の研究は、専門家軌道の教師付き微調整と強化学習を統合することでこの問題に対処していたが、外部の専門家は必ずしも利用できない。 既存の自己改善手法は、代わりに参照ソリューションを使用して特権的な自己教育者を作成する。 しかし、特権的な教師の正しさは、生徒の到達可能性を意味するものではない。 解決条件付けは、教師の分布を、未習得の学生の下ではありそうにない行動へとシフトさせ、到達不可能な、あるいは不正な学習目標であるように見える「正しい」軌跡を生み出す。 そこで我々は,自己構築型監視の鍵としてリーチビリティアライメントを同定し,SSR(Self-Steered Reasoner)を提案する。 SSRはこの原理を学生支援プロジェクションを通じて実現し、特権を持つ教師の分布を、無指導の学生の下でローカルに到達可能な推論行動のみに基づいて方向信号に変換する。 検証は、この到達可能な空間からサンプリングされた正しい軌跡を保持する。 サンプリング効率をさらに高めるために、現在の軌跡に基づく診断ガイダンスを用いて反復精製フレームワークを採用する。 広範囲なRLの後でもpass@64 = 0の問題に対して、SSRはパラメータ更新なしで74.6%の正確かつ学習可能なトラジェクトリを回復する。 これらの軌道の微調整と強化学習の再開により、AIME25/26とHMMT26の合計精度は4.9ポイント向上した。 これらの結果は,学生が到達可能な推論行動に合わせると,特権指導が効果的な自己改善データとなることを示している。

関連論文リスト

• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Beyond Absolute Imitation: Anchored Residual Guidance for Privileged On-Policy Distillation [9.745547158215905]
  我々は、特権的監督を阻害するデュアルビューフレームワークであるAnchored Residual On-Policy Distillation (AR-OPD)を紹介する。 AR-OPDはフル特権のPDを2.3ポイント、SFTを7.9ポイント上回る。
  論文  参考訳（メタデータ） (2026-06-09T03:51:41Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。