論文の概要: Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress

• arxiv url: http://arxiv.org/abs/2608.19408v1
• Date: Wed, 19 Aug 2026 19:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.392473
• Title: Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
• Title（参考訳）: シミュレーションを超えて: 進行の推論によるオン・ポリシィ蒸留のフィルタリング
• Abstract要約: オンライン蒸留(R2-OPD)のための推論・プログレス・アウェア・リワードフィルタを提案する。 R2-OPDは、教師由来の報酬と、独立に推定される進歩報酬の2つの軌道内ランキングを構成する。 提案手法では,特に推論性能に関して,標準PDよりも一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 9.067214030778656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) has emerged as an effective framework for post-training language models by pairing student-generated trajectories with dense token-level supervision from a teacher. However, OPD implicitly assumes that teacher-derived rewards are an appropriate proxy for reasoning progress, and therefore treats all teacher feedback equally during policy optimization. While in practice, this assumption does not always hold. We observe that teacher-derived rewards often conflict with genuine reasoning progress, as reasoning steps with clear reasoning advancement may still receive lower distillation rewards, simply due to deviation from teacher's outputs. To address this mismatch, we propose Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation (R2-OPD), which constructs two within-trajectory rankings of reasoning spans, one from teacher-derived rewards and the other from independently estimated progress reward. Distillation rewards are selectively suppressed whenever the two rankings disagree, reducing supervision that conflicts with reasoning progress while preserving effective teacher guidance. Our approach shows consistent improvement over standard OPD especially regarding reasoning performances.
• Abstract（参考訳）: オンライン蒸留 (OPD) は, 学生が生成した軌跡を教師から密集したトークンレベルの監督と組み合わせることで, 学習後の言語モデルに有効な枠組みとして浮上してきた。 しかし、OPDは、教師由来の報酬が推論の進行の適切なプロキシであると暗黙的に仮定し、政策最適化の間、すべての教師のフィードバックを均等に扱う。 実際には、この仮定は必ずしも成り立たない。 我々は,教師からの報酬が真の理由づけの進行と矛盾することがしばしばあることを観察し,明確な理由づけの進行による推論ステップは,単に教師の出力のずれによっても低い蒸留報酬を受ける可能性があることを観察した。 このミスマッチに対処するために、教師由来の報酬と、独立に推定された進行報酬の2つの軌道内ランキングを構成するオンライン蒸留用Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation (R2-OPD)を提案する。 2つのランキングが一致しない場合、蒸留報酬は選択的に抑制され、効果的な教師指導を維持しながら、推論の進行と矛盾する監督が軽減される。 提案手法では,特に推論性能に関して,標準PDよりも一貫した改善が見られた。

関連論文リスト

• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
  大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。 我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-03T09:08:29Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
  大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。 オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。 我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T18:57:44Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。