論文の概要: Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry
- arxiv url: http://arxiv.org/abs/2611.00852v1
- Date: Sat, 31 Oct 2026 11:59:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.436978
- Title: Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry
- Title（参考訳）: アダプティブ・ポリシィ蒸留:情報非対称性下での知識注入
- Abstract要約: OPDは単純なオフポリケーション蒸留よりも文書知識をはるかに効率よく注入する。
本稿では,教師へのロールアウトを共同で行う適応・ポリシィ蒸留法を提案する。
ラベルや検証装置がなければ、PDはOPDよりも54.6%向上し、QASPERでは0.558 F1、BioASQでは0.486 MRRのスコアを得た。
- 参考スコア（独自算出の注目度）: 46.34272783980547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD), which uses reverse-KL supervision on student rollouts to transfer a context-conditioned model's behavior into student model parameters for closed-book inference, has shown strong results. However, we find that this success does not translate to knowledge injection: across two document-QA benchmarks, OPD injects document knowledge far less efficiently than simple off-policy distillation. We trace this reversal to two failures that are structural, yet sparse across token positions. Reverse KL weights its gradient by the student distribution and therefore barely lifts document-specific tokens the student considers unlikely; after forward KL restores this signal, student rollouts expose later positions on the target trajectory only after generating the preceding tokens correctly, so coverage deteriorates with target length. Motivated by the concentration of teacher-student divergence at these hard positions, we propose Adaptive-Policy Distillation (APD), whose per-token gate jointly shifts the rollout toward the teacher and the objective toward forward KL where needed, withdrawing both interventions as the student learns. Without labels or a verifier, APD improves over OPD by up to 54.6%, achieving the best scores of 0.558 F1 on QASPER and 0.486 MRR on BioASQ.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生のロールアウトを逆KLで監督し、コンテキスト条件付きモデルの振る舞いを学生モデルパラメーターに伝達し、閉本推論を行った結果、強い結果が得られた。
しかし、この成功は知識注入とは関係なく、2つの文書QAベンチマークにおいて、OPDは単純な非政治蒸留よりもはるかに効率的に文書知識を注入する。
この逆転は、構造的だがトークンの位置を隔てる2つの失敗に遡る。
逆KLは、学生分布による勾配を重み付け、学生が考える文書固有のトークンをほとんど持ち上げない。
そこで本研究では, 学生が学習するにつれて, 学習者ごとの門口のロールアウトと, 必要に応じてKLに向けての目標を共同で移動させる適応・ポリシィ蒸留(APD, Adaptive-Policy Distillation)を提案する。
ラベルや検証装置がなければ、PDはOPDよりも54.6%向上し、QASPERでは0.558 F1、BioASQでは0.486 MRRのスコアを得た。
関連論文リスト
- Divergence-Routed On-Policy Distillation for Language Models [17.281764244522467]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルから学生が生成した軌道に沿って生徒に知識を伝達する。
このことは、どのポジションが生徒と教師の行動的ギャップに最も適しているか、そしてこれらのポジションで追加の監督が必要であるかという2つの疑問を提起する。
我々はDrOPD(Dirgence-Routed On-Policy Distillation)を提案する。
DrOPDはRKLの監督をあらゆる位置に維持し、JSのばらつきが高い位置において、選択的にKullback-Leibler(FKL)の分散を監督する。
論文 参考訳（メタデータ） (2026-10-14T04:39:35Z) - Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。
オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。
OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
論文 参考訳（メタデータ） (2026-09-29T23:47:58Z) - Leaky Students: Membership Inference against On-Policy Distillation [9.526055673825544]
その結果,新入生トラジェクトリは,参照-回答損失を固定するスパースメンバーシップシグナルを露呈することがわかった。
ターゲットモデルから新しいトラジェクトリを抽出し,トークンログの確率と一致した参照モデル間の最大値を比較する。
これはLeaky ReLUを結果のギャップに適用し、非メンバーにおける偶発的正のギャップの近似的補正として正のギャップを保ち、負のギャップを下げる。
論文 参考訳（メタデータ） (2026-09-27T03:06:54Z) - A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。
そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
論文 参考訳（メタデータ） (2026-08-26T11:14:42Z) - PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。
PAST(Privleged Adaptation from Students Trajectories)を紹介する。
PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
論文 参考訳（メタデータ） (2026-08-09T14:20:12Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。
TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文 参考訳（メタデータ） (2026-06-07T03:17:25Z) - Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。
推定器と実装側からOPDを再検討する。
不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
論文 参考訳（メタデータ） (2026-03-26T15:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。