論文の概要: Purified OPSD: On-Policy Self-Distillation Without Losing How to Think

• arxiv url: http://arxiv.org/abs/2607.02234v1
• Date: Thu, 02 Jul 2026 14:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.871658
• Title: Purified OPSD: On-Policy Self-Distillation Without Losing How to Think
• Title（参考訳）: OPSDの精製: 考え方を失わずに、オンデマンドで自己蒸留する
• Authors: Zhanming Shen, Jintao Tong, Shaotian Yan, Chen Shen, Hao Chen, Wentao Ye, Xiaomeng Hu, Rui Miao, Haobo Wang, Junbo Zhao, Gang Chen, Jieping Ye,
• Abstract要約: オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
• 参考スコア（独自算出の注目度）: 52.879387744920415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) has emerged as a promising paradigm for improving LLM reasoning, where a privileged teacher with access to reference solutions provides token-level supervision on the student's own generated trajectories. However, we find that OPSD consistently fails on long chain-of-thought (long-CoT) reasoning models, yielding at best marginal gains while destabilizing the reflective reasoning capability these models depend on. Through a novel decomposition of the teacher's supervision signal, we identify the root cause: the teacher's supervision is dominated by a reference-induced component that drives rote memorization of reference-specific shortcuts, while the question-conditioned, inference-transferable component is ignored or actively opposed. Based on this diagnosis, we propose a two-step solution. First, we construct a reference-only teacher (the same model conditioned on the reference without the question) to isolate the non-transferable component of the supervision signal; the residual after subtracting this component captures the question-conditioned, inference-transferable correction. Second, we use pointwise mutual information (PMI) as the mechanism to transform this residual into a well-formed PMI target distribution that the student can directly distill from, filtering out the reference-induced shortcut. Experiments on four long-CoT models across two datasets demonstrate consistent improvements over both the base model and standard OPSD, while preserving the models' natural epistemic behavior throughout training.
• Abstract（参考訳）: オンライン自己蒸留(OPSD)はLLM推論を改善するための有望なパラダイムとして現れており、参照ソリューションにアクセス可能な特権教師は、学生自身が生成した軌跡に対してトークンレベルの監督を行う。 しかし、OPSDは長いチェーン・オブ・ソート(ロングCoT)推論モデルでは一貫して失敗し、これらのモデルが依存する反射的推論能力を不安定化しながら、最も限界的な利得が得られる。 また,教師の指導信号の新たな分解によって,教師の指導は参照固有のショートカットのロート記憶を駆動する参照誘導コンポーネントに支配され,質問条件の推論-伝達可能なコンポーネントは無視されるか,積極的に反対される。 この診断に基づいて2段階の解法を提案する。 まず、参照のみの教師(質問無しで参照に条件付けされたモデル)を構築し、教師信号の非伝達可能成分を分離し、この成分を減算した後の残余が質問条件の推論-伝達可能補正をキャプチャする。 第二に、この残差を、学生が直接蒸留できるよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いて、参照誘導ショートカットをフィルタリングする。 2つのデータセットにわたる4つの長CoTモデルの実験は、ベースモデルと標準OPSDの両方に対して一貫した改善を示し、トレーニング全体を通してモデルの自然なてんかん行動を保存する。

関連論文リスト

• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation [14.043179860831406]
  自己蒸留は、モデルのロールアウトをトレーニング信号として使用することにより、大規模言語モデルの推論を改善する。 本稿では,暗黙的な分布アライメントから明示的な軌跡構築まで,自己蒸留を推し進めるTrajectory-Augmented Policy Optimization (TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-17T09:24:19Z)
• RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation [46.554172283247915]
  オンライン自己蒸留は、推論モデルに対する密集したトークンレベルの監督を提供する。 この分布ギャップから引き出された学習信号は、タスクを持つものよりもスタイルトークンに集中していることが示される。 我々は,このドリフトを緩和するためのtextbfRLCSD (Reinforcement Learning with Contrastive on-policy Self-Distillation) を提案する。
  論文  参考訳（メタデータ） (2026-06-10T06:31:59Z)
• SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
  検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。 中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。 我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
  論文  参考訳（メタデータ） (2026-05-15T07:42:21Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• Cross-fitted Proximal Learning for Model-Based Reinforcement Learning [3.5690236380446163]
  隠れた境界を持つオフライン環境では、観測データから直接学習されたモデルはバイアスを受けることがある。 近年の研究では, 部分的に観測可能なマルコフ決定過程(POMDPs)における政策評価を, 条件付きモーメント制約(CMRs)を満たす報奨・送達ブリッジ関数の推定に還元できることが示されている。
  論文  参考訳（メタデータ） (2026-04-06T21:29:57Z)
• Causal Imitation Learning Under Measurement Error and Distribution Shift [6.038778620145853]
  ノイズ測定によってのみ、決定関連状態の一部が観察される場合、オフライン模倣学習(IL)について検討する。 本稿では,変数間の因果関係を明示的にモデル化することによって,測定誤差下でのILの一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:06:53Z)
• Dual-level Modality Debiasing Learning for Unsupervised Visible-Infrared Person Re-Identification [59.59359638389348]
  本稿では,モデルと最適化の両レベルでのデバイアス処理を実装したデュアルレベルのモダリティ・デバイアス学習フレームワークを提案する。 ベンチマークデータセットの実験では、DMDLはモダリティ不変の特徴学習とより一般化されたモデルを可能にすることを示した。
  論文  参考訳（メタデータ） (2025-12-03T12:43:16Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。