論文の概要: Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.03515v1
• Date: Fri, 02 Oct 2026 16:07:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.469728
• Title: Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation
• Title（参考訳）: 補修推論から学ぶ:根管ガイド付きオン・ポリシィ蒸留
• Abstract要約: Root-Cause-Guided On-Policy Distillation (RC-OPD)は、学生自身の推論を修復してガイダンスを提供する。 RC-OPDを複数のデータセットとモデルスケールで評価する。
• 参考スコア（独自算出の注目度）: 9.138237733296277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) uses reference solutions as privileged hindsight to supervise student-generated reasoning trajectories. However, reference-based guidance may explain a correct solution without addressing why the student's own reasoning fails. This reasoning mismatch between the guidance provided and the correction needed can encourage the student to borrow correct conclusions while leaving its reasoning errors unresolved. Moreover, applying the same hindsight throughout the trajectory risks a distillation trap, where unnecessary constraints on valid reasoning compete with correction of substantive errors. To address these issues, we propose Root-Cause-Guided On-Policy Distillation (RC-OPD), which uses repairs of the student's own reasoning to provide guidance that addresses its specific errors while building on valid progress. For each failed attempt, RC-OPD locates the earliest substantive error, develops a local correction, and uses the corrected intermediate result as an anchor for the valid prefix. An iterative diagnosis--repair--continuation process tests the repairs through student continuation, identifying further errors within a fixed repair budget. For repair chains that reach a correct answer, root--cause--guided distillation uses failure diagnoses and corrective goals to supervise the erroneous segments, while anchor-guided distillation supports the corresponding valid prefixes with reasoning chains leading to the repaired intermediate results. We evaluate RC-OPD across multiple datasets and model scales. Extensive experiments and analyses show that it mitigates reasoning mismatch and the distillation trap, yielding substantial performance gains.
• Abstract（参考訳）: On-policy Self-distillation (OPSD)は、生徒が生み出す推論の軌跡を監督するために、特権的な後見として参照ソリューションを使用する。 しかし、参照に基づくガイダンスは、学生自身の推論が失敗する理由に言及することなく、正しい解決策を説明することができる。 この指導と修正のミスマッチは、学生に正しい結論を出し、推論ミスを未解決のまま残すよう促す。 さらに, 同じ視線を軌跡全体に当てはめると, 有効推論に対する不必要な制約が実質誤差の補正と競合する蒸留トラップが生じる。 これらの問題に対処するため,本論文では,学生自身の推論を修復し,具体的なエラーに対処するガイダンスを提供するRoot-Cause-Guided On-Policy Distillation (RC-OPD)を提案する。 失敗した試みごとに、RC-OPDは最初期の実体誤差を見つけ、局所的な修正を開発し、修正された中間結果を有効な接頭辞のアンカーとして使用する。 反復的診断-補修-継続プロセスは、学生の継続を通じて修復を検査し、固定された修理予算内でさらなるエラーを特定する。 正しい答えに達する修復鎖については、根起因誘導蒸留は失敗診断と修正目標を用いて誤セグメントを監督し、アンカー誘導蒸留は補修中間結果につながる推論鎖で対応する有効な接頭辞を支持する。 RC-OPDを複数のデータセットとモデルスケールで評価する。 大規模な実験と分析により, 推理ミスマッチと蒸留トラップを緩和し, かなりの性能向上が得られた。

関連論文リスト

• CausalOPD: First-Wrong-Step Supervision for Distilling Causal Chain Reasoning [5.241146164724621]
  CausalOPDはオンラインプロセス蒸留フレームワークである。 知識を付加した教師は、まずドメイン固有の因果規則に基づく軌跡を提供する。 因果段階のカリキュラムはエビデンスレベルからメカニズムレベル、結論レベルのエラーへと進化する。
  論文  参考訳（メタデータ） (2026-08-04T13:49:12Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains [40.558397280256685]
  大規模言語モデル(LLM)の推論性能を向上するオンライン自己蒸留(OPSD) 既存のOPSD法はドメイン内推論において限定的な利得をもたらし、ドメイン外問題に悪影響を及ぼす。 本稿では,参照ソリューションの模倣を対象の推論補正に変換するフレームワークであるReflective On-policy Self-Distillation (ROSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T06:09:29Z)
• Doctor-RAG: Failure-Aware Repair for Agentic Retrieval-Augmented Generation [23.961760006898157]
  エージェント検索・拡張生成(Agentic RAG)は,質問応答や複雑な知識推論のパラダイムとして広く採用されている。 既存のアプローチでは、診断分析で停止するか、検索推論パイプライン全体を再実行することで、このような障害に対処するのが一般的である。 本稿では,Agenic RAGの異常を明示的エラーローカライゼーションとプレフィックス再利用によって修正する統合診断・修復フレームワークであるDoctor-RAGを提案する。
  論文  参考訳（メタデータ） (2026-04-01T13:13:27Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。