論文の概要: H$^2$SD: Hybrid Hindsight Self-Distillation

• arxiv url: http://arxiv.org/abs/2607.18955v1
• Date: Tue, 21 Jul 2026 10:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.395422
• Title: H$^2$SD: Hybrid Hindsight Self-Distillation
• Title（参考訳）: H$^2$SD:ハイブリッドハイビジョン自己蒸留
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、数学的推論やコード生成といったタスクにおいて、大規模言語モデルの推論能力を大幅に改善した。 ほとんどのRLVR法は、スカラー結果の報酬を全軌道に割り当て、スパース監督とトークンレベルのクレジット割り当てが制限される。 OPDは、より強い教師モデルからトークンレベルの分布を蒸留することで、より密集した監督を提供するが、追加の教師を必要とし、通常は共有語彙を仮定する。 $mathrmH2mathrmSD$は、教師が軌跡の正確性に応じて異なる方法で使用する、ハイブリットな自己蒸留フレームワークである。
• 参考スコア（独自算出の注目度）: 80.12840295964175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has substantially improved the reasoning capabilities of large language models on tasks such as mathematical reasoning and code generation. However, most RLVR methods assign a scalar outcome reward to an entire trajectory, resulting in sparse supervision and limited token-level credit assignment. On-policy distillation (OPD) provides denser supervision by distilling token-level distributions from a stronger teacher model, but requires an additional teacher and typically assumes a shared vocabulary. On-policy self-distillation (OPSD) removes this dependency by conditioning the same model on privileged information to construct a teacher policy. However, directly matching the teacher distribution may cause information leakage and unstable optimization. RLSD avoids direct matching by using the teacher signal only to modulate update magnitudes, but it cannot provide an explicit correction direction when the sampled reasoning fails. To address this tradeoff, we introduce $\mathrm{H}^{2}\mathrm{SD}$, a hybrid hindsight self distillation framework that uses the teacher differently according to trajectory correctness. For successful trajectories, the teacher receives the student response confirmed as correct together with a rephrasing instruction, and its probabilities on the original response tokens are used to modulate update magnitudes without changing the direction determined by the reward. For failed trajectories, we condition the teacher on a reference hint containing key reasoning steps and a verified answer, and minimize the reverse KL divergence from the student to the teacher. Experiments on multiple challenging reasoning benchmarks show that H$^2$SD consistently outperforms representative RLVR, OPSD, and RLSD baselines while maintaining stable optimization and favorable generation efficiency.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、数学的推論やコード生成といったタスクにおいて、大規模言語モデルの推論能力を大幅に改善した。 しかし、ほとんどのRLVR手法は、スカラー結果の報酬を全軌道に割り当て、スパース監督とトークンレベルのクレジット割り当てが制限される。 オンライン蒸留(OPD)は、より強い教師モデルからトークンレベルの分布を蒸留することで、より密集した監督を提供するが、追加の教師を必要とし、通常は共有語彙を仮定する。 On-policy self-distillation (OPSD)は、教師のポリシーを構築するために特権情報に同じモデルを条件付けすることで、この依存を除去する。 しかし,教師分布と直接一致すると,情報漏洩や不安定な最適化が生じる可能性がある。 RLSDは教師信号を用いた直接マッチングを回避し、更新のマグニチュードを変調するが、サンプリングされた推論が失敗した場合、明確な修正方向を提供することはできない。 このトレードオフに対処するために,教師を軌跡正当性に応じて異なる方法で使用するハイブリッドなヒンジサイト自己蒸留フレームワークである$\mathrm{H}^{2}\mathrm{SD}$を導入する。 軌道を成功させるためには、教師は、リフレージング命令とともに正当であると確認された学生応答を受信し、元の応答トークンに対する確率を用いて、報酬によって決定される方向を変更することなく、更新等級を変調する。 本研究では,学習者から教師への逆KLの偏差を最小限に抑えるために,重要な推論ステップと検証された回答を含む基準ヒントを教師に条件付けする。 複数の挑戦的推論ベンチマークの実験により、H$^2$SDは安定な最適化と良好な生成効率を維持しつつ、RLVR、OPSD、RSSDベースラインを一貫して上回っていることが示された。

関連論文リスト

• Cliff: Learning Process Rewards from the First Mistake [7.768568604200271]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)のポストトレーニングの強力なパラダイムとして登場した。 市販のLCMを教師として活用し,各ロールアウトにおける最初のミスを識別する報酬形成戦略であるCliffを提案する。
  論文  参考訳（メタデータ） (2026-09-02T17:03:42Z)
• When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation [21.86522736658343]
  本稿では, 教師指導の誤りを軽減するために, Reward-Aligned On-Policy Distillation (RA-OPD)を提案する。 RA-OPDは、さらなる計算コストを必要とせずに、より信頼性の高い軌道を選択し、生徒モデルの性能を向上させる。 我々は,Qwen3ファミリーとDeepSeek-R1ファミリーのモデルを用いて,数学とコードベンチマークのRA-OPDを評価する。
  論文  参考訳（メタデータ） (2026-08-28T06:05:50Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO [9.443660785229719]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するために広く用いられている。 本研究は,GRPO型RLVRに対する無回答自己蒸留法であるCASTを提案する。
  論文  参考訳（メタデータ） (2026-05-29T13:21:30Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。