論文の概要: Reverse-KL Policy Distillation: Statistical Guarantees and Limits
- arxiv url: http://arxiv.org/abs/2610.30844v2
- Date: Sun, 25 Oct 2026 05:16:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.174022
- Title: Reverse-KL Policy Distillation: Statistical Guarantees and Limits
- Title（参考訳）: 逆KL政策:統計基準と限界
- Abstract要約: オンライン逆KL蒸留の複雑さを2つのフィードバックモデルで検討した。
教師は、学生が生成した行動の完全な分布または確率のみを明らかにする。
オフライン逆KL蒸留は、教師がその完全な分布を明かすか確率のみを示すかに関わらず、同じミニマックスレートを達成することができる。
- 参考スコア（独自算出の注目度）: 41.17780671950473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reverse Kullback-Leibler (KL) distillation has shown empirical promise for training language models, but its statistical guarantees and limits remain poorly understood. In particular, the effects of two design choices remain unclear: Does access to the teacher's full action distribution provide an advantage over observing only the probability it assigns to the sampled action? Must training trajectories come from the student (online distillation), or can teacher-generated trajectories (offline distillation) suffice? Our work takes a first step toward understanding the theory underlying these questions. We study the sample complexity of online reverse-KL distillation under two feedback models: the teacher reveals either its full action distribution or only the probability of the student-generated action. We establish minimax bounds for the former and show that substantially more data may be required for the latter. In contrast, offline reverse-KL distillation can attain the same minimax rate whether the teacher reveals its full distribution or only its probability of the teacher-generated action. The key distinction is that teacher-generated actions themselves reveal the teacher's preferences, while queries at student-selected actions can leave those preferences unobserved. This highlights an additional statistical challenge for online distillation compared to offline distillation. These statistical guarantees do not follow simply from optimizing standard distillation objectives: our lower bounds show that common online objectives can fail when candidates are evaluated only on past student-generated trajectories. We develop trajectory-loss and importance-ratio truncation techniques together with policy-space learning to achieve optimal online distillation guarantees.
- Abstract（参考訳）: Reverse Kullback-Leibler (KL) 蒸留は、訓練言語モデルの実証的な保証を示しているが、その統計的保証と限界は理解されていない。
教師の完全な行動分布へのアクセスは、教師が標本化された行動に割り当てる確率だけを観察するよりも有利か?
学生(オンライン蒸留)や教師が生成した軌道(オフライン蒸留)で十分か?
私たちの研究は、これらの疑問の根底にある理論を理解するための第一歩を踏み出します。
オンライン逆KL蒸留のサンプル複雑性を2つのフィードバックモデルにより検討した。教師は、その完全な行動分布または、学生が生成した行動の確率のみを明らかにする。
我々は、前者のミニマックス境界を確立し、後者にかなり多くのデータが必要であることを示す。
対照的に、オフライン逆KL蒸留は、教師が完全な分布を明らかにするか、あるいは教師が生成する行動の確率のみを示すかに関わらず、同じミニマックスレートを達成することができる。
重要な違いは、教師が生成した行動自体が教師の好みを明らかにするのに対して、学生が選択した行動における質問は教師の好みを守らないことである。
これはオフライン蒸留と比較して、オンライン蒸留の統計上の課題を浮き彫りにしている。
これらの統計的保証は、単に標準蒸留目標の最適化に従わない:我々の下限は、過去の学生が生成した軌道上でのみ候補者が評価されると、共通のオンライン目的が失敗することを示している。
我々は,最適オンライン蒸留保証を実現するために,政策空間学習とともにトラジェクトリロスと重要度トラルケーション技術を開発した。
関連論文リスト
- Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。
BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
論文 参考訳（メタデータ） (2026-10-19T13:40:50Z) - Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
言語フィードバックはエラーを特定し、修正を処方する。
オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。
このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
論文 参考訳（メタデータ） (2026-09-28T15:20:35Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity [5.35852583397955]
On-policy self-distillationは,教師と学生の両方に単一モデルを使用することで,強力なパス@1精度を実現する。
ロールアウトの多様性が低下し、pass@k曲線がフラットになるのです。
論文 参考訳（メタデータ） (2026-06-24T17:59:02Z) - Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation [44.23725347095524]
クロスモデル推論蒸留防止トラクションフレームワークについて紹介する。
蒸留モデルにより生成された各行動について,教師,元学生,蒸留モデルに割り当てられた予測確率を同じ文脈で求める。
実験により, 蒸留モデルでは, 実際に教師が選択した行動が生成され, 実験結果と相関し, 測定結果が妥当に説明できることが実証された。
論文 参考訳（メタデータ） (2025-12-24T03:19:05Z) - Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。
7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
論文 参考訳（メタデータ） (2025-02-17T12:58:12Z) - Progressive distillation induces an implicit curriculum [44.528775476168654]
より良い教師は必ずしも良い生徒を産むとは限らない。
この原理を実証的に検証した1つの変種はプログレッシブ蒸留であり、そこで学生は教師の連続した中間チェックポイントから学習する。
スパースパリティをサンドボックスとして使用することにより、暗黙のカリキュラムをプログレッシブ蒸留によって学生の学習を加速させる1つのメカニズムとして認識する。
論文 参考訳（メタデータ） (2024-10-07T19:49:24Z) - Knowledge Distillation with Refined Logits [31.205248790623703]
本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。
我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。
本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
論文 参考訳（メタデータ） (2024-08-14T17:59:32Z) - Why distillation helps: a statistical perspective [69.90148901064747]
知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。
この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。
蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
論文 参考訳（メタデータ） (2020-05-21T01:49:51Z) - Knowledge distillation via adaptive instance normalization [52.91164959767517]
本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。
本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。
以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
論文 参考訳（メタデータ） (2020-03-09T17:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。