論文の概要: H$^2$SD: Hybrid Hindsight Self-Distillation

• arxiv url: http://arxiv.org/abs/2607.18955v1
• Date: Tue, 21 Jul 2026 10:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.395422
• Title: H$^2$SD: Hybrid Hindsight Self-Distillation
• Title（参考訳）: H$^2$SD:ハイブリッドハイビジョン自己蒸留
• Authors: Qiye Cai, Yichuan Ma, Linyang Li, Peiji Li, Yongkang Chen, Qipeng Guo, Yicheng Zou, Tao Gui, Xiaocheng Feng, Bing Qin,
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、数学的推論やコード生成といったタスクにおいて、大規模言語モデルの推論能力を大幅に改善した。 ほとんどのRLVR法は、スカラー結果の報酬を全軌道に割り当て、スパース監督とトークンレベルのクレジット割り当てが制限される。 OPDは、より強い教師モデルからトークンレベルの分布を蒸留することで、より密集した監督を提供するが、追加の教師を必要とし、通常は共有語彙を仮定する。 $mathrmH2mathrmSD$は、教師が軌跡の正確性に応じて異なる方法で使用する、ハイブリットな自己蒸留フレームワークである。
• 参考スコア（独自算出の注目度）: 80.12840295964175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has substantially improved the reasoning capabilities of large language models on tasks such as mathematical reasoning and code generation. However, most RLVR methods assign a scalar outcome reward to an entire trajectory, resulting in sparse supervision and limited token-level credit assignment. On-policy distillation (OPD) provides denser supervision by distilling token-level distributions from a stronger teacher model, but requires an additional teacher and typically assumes a shared vocabulary. On-policy self-distillation (OPSD) removes this dependency by conditioning the same model on privileged information to construct a teacher policy. However, directly matching the teacher distribution may cause information leakage and unstable optimization. RLSD avoids direct matching by using the teacher signal only to modulate update magnitudes, but it cannot provide an explicit correction direction when the sampled reasoning fails. To address this tradeoff, we introduce $\mathrm{H}^{2}\mathrm{SD}$, a hybrid hindsight self distillation framework that uses the teacher differently according to trajectory correctness. For successful trajectories, the teacher receives the student response confirmed as correct together with a rephrasing instruction, and its probabilities on the original response tokens are used to modulate update magnitudes without changing the direction determined by the reward. For failed trajectories, we condition the teacher on a reference hint containing key reasoning steps and a verified answer, and minimize the reverse KL divergence from the student to the teacher. Experiments on multiple challenging reasoning benchmarks show that H$^2$SD consistently outperforms representative RLVR, OPSD, and RLSD baselines while maintaining stable optimization and favorable generation efficiency.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、数学的推論やコード生成といったタスクにおいて、大規模言語モデルの推論能力を大幅に改善した。 しかし、ほとんどのRLVR手法は、スカラー結果の報酬を全軌道に割り当て、スパース監督とトークンレベルのクレジット割り当てが制限される。 オンライン蒸留(OPD)は、より強い教師モデルからトークンレベルの分布を蒸留することで、より密集した監督を提供するが、追加の教師を必要とし、通常は共有語彙を仮定する。 On-policy self-distillation (OPSD)は、教師のポリシーを構築するために特権情報に同じモデルを条件付けすることで、この依存を除去する。 しかし,教師分布と直接一致すると,情報漏洩や不安定な最適化が生じる可能性がある。 RLSDは教師信号を用いた直接マッチングを回避し、更新のマグニチュードを変調するが、サンプリングされた推論が失敗した場合、明確な修正方向を提供することはできない。 このトレードオフに対処するために,教師を軌跡正当性に応じて異なる方法で使用するハイブリッドなヒンジサイト自己蒸留フレームワークである$\mathrm{H}^{2}\mathrm{SD}$を導入する。 軌道を成功させるためには、教師は、リフレージング命令とともに正当であると確認された学生応答を受信し、元の応答トークンに対する確率を用いて、報酬によって決定される方向を変更することなく、更新等級を変調する。 本研究では,学習者から教師への逆KLの偏差を最小限に抑えるために,重要な推論ステップと検証された回答を含む基準ヒントを教師に条件付けする。 複数の挑戦的推論ベンチマークの実験により、H$^2$SDは安定な最適化と良好な生成効率を維持しつつ、RLVR、OPSD、RSSDベースラインを一貫して上回っていることが示された。

関連論文リスト

• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。