論文の概要: OPMD: On-Policy Mechanism Distillation Beyond Output Supervision

• arxiv url: http://arxiv.org/abs/2610.14022v1
• Date: Tue, 29 Sep 2026 14:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.468541
• Title: OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
• Title（参考訳）: OPMD:オン・ポリティィ・メカニズムの蒸留はアウトプット・スーパービジョンを超える
• Abstract要約: オンライン蒸留は、学生が自身の政策からサンプリングした接頭辞を監督することによって言語モデルを改善するが、その監督は出力空間に限られている。 本稿では,教師由来の中間計算を学生との互換性を明示的に考慮しつつ,教師由来の中間計算を伝達するOpMD(On-Policy Mechanism Distillation)を提案する。 OPMDは,教師の3人すべてで評価された蒸留ベースラインの中で,最も高い平均精度を達成している。
• 参考スコア（独自算出の注目度）: 47.47826837510283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) improves language-model by supervising a student on prefixes sampled from its own policy, but its supervision remains confined to the output space. Consequently, OPD transfers what a teacher predicts without supervising the intermediate computation that produces those predictions. Simply distilling intermediate representations like representation matching is insufficient since teacher and student representations may differ geometrically, and even well-aligned hidden states need not be usable by the student's subsequent computation. We introduce On-Policy Mechanism Distillation (OPMD), which transfers teacher-derived intermediate computation while explicitly accounting for its compatibility with the student. OPMD first constructs a student-compatible teacher that transforms teacher representations into intermediate states usable by the student's downstream computation, then it internalizes these states from on-policy trajectories. OPMD achieves the highest average accuracy among the evaluated distillation baselines in all three teacher--student settings, and generalizes to multi-teacher distillation and cross-family supervised fine-tuning. Further analyses show that mechanism supervision yields more effective reasoning and meaningfully alters the student's intermediate computation and solution strategies, supporting that it transfers information beyond output supervision alone. Together, these results establish mechanism-level supervision as an effective way to move on-policy distillation beyond output supervision, enabling students to learn inner mechanisms they can use and internalize.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が自身の政策からサンプリングした接頭辞を監督することによって言語モデルを改善するが、その監督は出力空間に限られている。 その結果、OPDは教師が予測したものを、それらの予測を生成する中間計算を監督せずに転送する。 単に表現マッチングのような中間表現を蒸留することは、教師と生徒の表現が幾何学的に異なる場合があるため不十分である。 本稿では,教師由来の中間計算を学生との互換性を明示的に考慮しつつ,教師由来の中間計算を伝達するOpMD(On-Policy Mechanism Distillation)を提案する。 OPMDはまず、教師表現を学生の下流計算で使用可能な中間状態に変換する学生互換の教師を構築する。 OPMDは,教師の3人全員で評価された蒸留ベースラインの中で,最も高い平均精度を達成し,多教師の蒸留と家族間相互監督による微調整に一般化する。 さらなる分析により、メカニズムの監督はより効果的な推論をもたらし、学生の中間計算と解法戦略を有意義に変更し、出力の監督以外の情報を伝達することを支援する。 これらの結果から, 生産監督を超越したオンライン蒸留を効果的に実施するためのメカニズムレベルの監視が確立され, 学生は内部のメカニズムを学習し, 内部化することができる。

関連論文リスト

• Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints [60.23381594831357]
  SeTPOは、選択的な教師指導と永続的な実演指導で学生の探索を調整する。 理想化された双方向KL目標の下では、最適政策が教師よりも期待される報酬を得られないことを理論的に証明する。 BFCL v4とAPI Bankの実験により、SeTPOは教師付き微調整、強化学習、蒸留ベースラインよりも全体的な性能が優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-13T14:26:41Z)
• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
  信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-02T10:11:59Z)
• DOPD: Dual On-policy Distillation [59.65986569617147]
  オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。 特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。 大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-29T17:55:53Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。