論文の概要: Interactive-Policy Distillation with Bidirectional Propose-and-Verify

• arxiv url: http://arxiv.org/abs/2609.36546v1
• Date: Tue, 29 Sep 2026 02:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.120934
• Title: Interactive-Policy Distillation with Bidirectional Propose-and-Verify
• Title（参考訳）: 双方向生成・検証による対話型ポリシング蒸留
• Abstract要約: インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。 IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
• 参考スコア（独自算出の注目度）: 15.832994594431776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student model on its self-generated trajectories with dense token-level teacher feedback. However, naive OPD may suffer from teacher unanchoring, where the student's reasoning trajectory drifts far from the teacher, causing the teacher to be queried on states it would hardly visit and thus provide unreliable supervision. We propose Interactive-Policy Distillation (IPD), which applies adaptive teacher intervention to the student rollout. Under a bidirectional propose-and-verify state machine, the student and teacher alternately exchange their roles as proposer and verifier, and collaboratively generate mixed-source trajectories. Then different supervisions are applied according to the source of each token. This bidirectional propose-and-verify mechanism and the source-split loss make IPD not only a more performant distillation method, but also a unified bridge between on-policy and off-policy paradigms. To make the interleaved dual-model rollouts more efficient, we also design a dedicated fused inference engine that co-hosts both models in one serving instance with separate KV caches and instantiates the state machine model to distribute, collect, and process requests. On math reasoning tasks and across multiple teacher-student model pairs, student models trained with IPD not only outperform those trained with OPD, but also demonstrate higher data efficiency. Specifically, when distilling Qwen3-30B-A3B into Qwen3-1.7B-Base, IPD brings a +3.28 mean@8 and a +3.28 best@8 benchmark-averaged accuracy improvement compared with OPD. Besides, IPD only consumes about 1/4 of the training examples and steps to outperform OPD trained on the whole training dataset for one epoch. We also investigate the impact of different loss variants and takeover / handback configurations, and demonstrate the robustness of IPD on different training data.
• Abstract（参考訳）: オンライン蒸留(OPD)は、トークンレベルの教師からのフィードバックで学生モデルを自己生成軌道上で訓練する。 しかし、ナイーブOPDは教師の不安に悩まされ、生徒の推論の軌跡は教師から遠く離れており、教師が訪れることがほとんどなく、教師は信頼できない監督を行うことになる。 学生のロールアウトに適応的な教師介入を適用した対話型ポリシィ蒸留(IPD)を提案する。 双方向の提案・検証状態マシンでは、学生と教師は、提案者と検証者としての役割を交互に交換し、混合ソースの軌跡を協調的に生成する。 次に、トークンのソースに応じて異なる監視が適用される。 この双方向提案・検証機構とソース分割損失により、IPDはより高性能な蒸留法であるだけでなく、オン・ポリティクスとオフ・ポリティクスのパラダイム間の統一的な橋渡しにもなっている。 インターリーブされたデュアルモデルロールアウトをより効率的にするために、我々はまた、両方のモデルを別々のKVキャッシュでひとつのサービスインスタンスに格納し、ステートマシンモデルをインスタンス化し、リクエストを分散、収集、処理する専用のフューズド推論エンジンを設計する。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。 具体的には、Qwen3-30B-A3BをQwen3-1.7Bベースに蒸留すると、PDは+3.28平均@8と+3.28ベスト@8ベンチマーク平均精度の改善をもたらす。 さらに、IPDはトレーニングサンプルの1/4しか消費せず、トレーニングデータセット全体でトレーニングされたPDを1時間で上回ります。 また、異なる損失変動とテイクオーバー/ハンドバック構成の影響についても検討し、異なるトレーニングデータに対するIDDの堅牢性を示す。

関連論文リスト

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
  オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。 データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
  論文  参考訳（メタデータ） (2026-08-07T04:47:38Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• Contrastive On-Policy Distillation [36.47487086937924]
  対照的なオンライン蒸留フレームワークである COPD を提案する。 COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
  論文  参考訳（メタデータ） (2026-07-21T12:35:04Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation [7.2992280064983825]
  オンライン蒸留(OPD)は、大規模言語モデルの効率的な後訓練パラダイムとして登場した。 標準PDは、トレーニングを通してライブの教師推論サーバーを必要とし、その結果、かなりのインフラストラクチャーオーバーヘッドを発生させる。 我々は,教師の対数確率をSFTロールアウトにプリ計算することで教師の一貫性を強制するオフラインのオンライン蒸留フレームワークであるLightning OPDを提案する。
  論文  参考訳（メタデータ） (2026-04-14T17:44:50Z)
• OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer [14.714768026997534]
  本稿では,オンライン蒸留によるDETRトレーニングの安定化を目的とする。 指数移動平均(EMA)で蓄積した教師モデルを利用する。 実験の結果,提案したOD-DETRはトレーニングの安定化に成功し,パラメータを増やすことなく性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-09T14:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。