論文の概要: Learning from Think-Mode Advantage via On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.37044v2
- Date: Wed, 30 Sep 2026 15:45:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.211357
- Title: Learning from Think-Mode Advantage via On-Policy Distillation
- Title（参考訳）: オンライン蒸留による思考型アドバンテージからの学習
- Abstract要約: 明示的な中間推論は、大きな言語モデルにより強力な問題解決モードを与える。
我々は、オンライン蒸留(OPD)を通して、このシンクモードの利点から学ぶことを研究する。
ThinkOPDは、学生が生成した軌跡を保存し、学生が訪問する接頭辞に密集したトークンレベルの教師ターゲットを提供する。
- 参考スコア（独自算出の注目度）: 3.0639543221446655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explicit intermediate reasoning gives large language models (LLMs) a stronger problem-solving mode. We study learning from this think-mode advantage via on-policy distillation (OPD). OPD preserves student-generated trajectories and provides dense token-level teacher targets at student-visited prefixes. Privileged reasoning is used during distillation rather than student inference. Uniform ThinkOPD, a natural think-enabled OPD baseline, conditions a fixed teacher on one shared think trace and uniformly distills every sibling student response. Although its prefixes are on-policy, the trace need not follow a route compatible with every complete response: the same privileged trace can induce different teacher-student discrepancies even when responses reach the same outcome. We summarize this interaction with trace-response divergence (TRD) and introduce ThinkOPD, which routes supervision at the response level by combining group-relative reward gain with a TRD-based compatibility proxy. Final response weights are normalized within each rollout group. Across mathematical reasoning and code generation, ThinkOPD outperforms Uniform ThinkOPD in both same-model settings and both cross-model teacher-student pairs, and it exceeds representative rationale and self-distillation baselines in a controlled comparison. Controlled interventions show that outcome benefit and the TRD-based proxy provide complementary routing signals in this setting. Think-enabled OPD provides a controlled setting for studying how teacher advantage becomes transferable along student responses.
- Abstract（参考訳）: 明示的な中間推論により、大きな言語モデル(LLM)はより強力な問題解決モードを提供する。
本研究は, オンライン蒸留(OPD)を通して, この思考の優位性から学ぶことを研究する。
OPDは学生が生成した軌跡を保存し、学生が訪問する接頭辞に密集したトークンレベルの教師ターゲットを提供する。
専門的な推論は、学生の推論よりも蒸留に使用される。
ナチュラルシンク対応のPDベースラインであるUniform ThinkOPDは、ある共有シンクトレースに固定された教師を条件付け、すべての兄弟の学生の反応を均一に蒸留する。
その接頭辞は政治上のものであるが、その痕跡は全ての完全な応答と互換性のあるルートに従う必要はない。
本稿では,TRD(Trace-Response divergence)とのインタラクションを要約し,TRDベースの互換性プロキシとグループ相対報酬ゲインを組み合わせることで,応答レベルでの監視を行うThinkOPDを紹介する。
最終応答重みは各ロールアウトグループ内で正規化される。
数学的推論とコード生成全体にわたって、ThinkOPDは、同じモデル設定とクロスモデル教師/学生ペアの両方で、Uniform ThinkOPDより優れており、制御された比較において、代表的論理と自己蒸留ベースラインを超えている。
制御された介入は、結果の利点とRDベースのプロキシがこの設定で補完的なルーティング信号を提供することを示している。
シンク可能なOPDは、教師の利点が学生の反応に沿って伝達可能であるかを研究するための制御された設定を提供する。
関連論文リスト
- From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation [43.75423570055352]
オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。
より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。
MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
論文 参考訳（メタデータ） (2026-09-29T13:06:14Z) - Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。
決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。
このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。
本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
論文 参考訳（メタデータ） (2026-09-28T16:09:06Z) - ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。
我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
論文 参考訳（メタデータ） (2026-08-11T13:27:56Z) - Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。
本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-30T07:05:37Z) - Contrastive On-Policy Distillation [36.47487086937924]
対照的なオンライン蒸留フレームワークである COPD を提案する。
COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
論文 参考訳（メタデータ） (2026-07-21T12:35:04Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。
従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
論文 参考訳（メタデータ） (2025-08-23T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。