論文の概要: Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
- arxiv url: http://arxiv.org/abs/2610.11247v1
- Date: Thu, 08 Oct 2026 04:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.809052
- Title: Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
- Title（参考訳）: 公共の場での蒸留が失敗する理由:学習信号の消滅
- Abstract要約: オンライン蒸留(OPD)は、言語モデル間の効果的な能力伝達を可能にする。
我々は,OPDを学習時間制限の理想化された連続時間力学系として分析する。
我々は,OPD前後の相対パラメータの変化と学生の表現の類似性が高いことを観察した。
- 参考スコア（独自算出の注目度）: 3.628917881422525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) enables effective capability transfer between language models, yet the mechanisms underlying its failures are not fully understood. Across code generation and mathematical reasoning, OPD with larger-scale teachers exhibits early loss plateaus, with an average final loss reduction of 25.1% after 200 updates, compared with 96.2% for self-RL teachers, obtained by further reinforcement learning (RL) training of the initial student. To understand this difference, we analyze OPD as an idealized continuous-time dynamical system in the small-learning-rate limit. Our training-log diagnostics associate these plateaus with an early decline in a gradient-based learning-signal proxy while substantial loss remains; these measurements do not establish why the underlying gradient weakens. We further prove a local recovery guarantee for teachers sufficiently close to the initial student in a shared parameterization under regularity conditions, offering a conditional explanation for the success of self-RL teachers in our experiments. Across runs with and without loss plateaus, we observe small relative parameter changes (0.025-0.098%) and high similarity between the student's representations before and after OPD (linear CKA $>0.98$ across layers). These observations suggest that limited representation adaptation may contribute to learning-signal collapse, a hypothesis that remains to be tested. Code is available at https://github.com/leizhao7/opd-learning-signals.
- Abstract（参考訳）: オンライン蒸留(OPD)は言語モデル間の効果的な能力伝達を可能にするが、その失敗のメカニズムは十分に理解されていない。
コード生成と数学的推論を通じて、より大規模な教師によるOPDは、200回の更新で平均25.1%の損失率の早期損失率を示し、初等生のさらなる強化学習(RL)訓練によって得られる自己RL教師は96.2%である。
この差を理解するために,我々はOPDを学習率の最小限における理想化された連続時間力学系として解析する。
トレーニングログ診断では,勾配に基づく学習信号プロキシが早期に低下するのに対して,かなりの損失は残るが,基礎となる勾配が弱まる理由を定めていない。
さらに,本実験における自己RL教師の成功の条件付き説明として,正規化条件下での共通パラメータ化において,初等生に十分近い教師に対する局所的回復保証を証明した。
OPD前後の相対的パラメータ変化(0.025～0.098%)と,OPD前後の生徒の表現の類似度が高い(線形CKA$>0.98$)。
これらの観察は、限定的な表現適応が、まだ検証されていない仮説である学習信号の崩壊に寄与する可能性を示唆している。
コードはhttps://github.com/leizhao7/opd-learning-signalsで入手できる。
関連論文リスト
- Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。
オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。
OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
論文 参考訳（メタデータ） (2026-09-29T23:47:58Z) - Leaky Students: Membership Inference against On-Policy Distillation [9.526055673825544]
その結果,新入生トラジェクトリは,参照-回答損失を固定するスパースメンバーシップシグナルを露呈することがわかった。
ターゲットモデルから新しいトラジェクトリを抽出し,トークンログの確率と一致した参照モデル間の最大値を比較する。
これはLeaky ReLUを結果のギャップに適用し、非メンバーにおける偶発的正のギャップの近似的補正として正のギャップを保ち、負のギャップを下げる。
論文 参考訳（メタデータ） (2026-09-27T03:06:54Z) - Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall [79.59596652272923]
教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。
標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
論文 参考訳（メタデータ） (2026-09-01T17:00:30Z) - TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳（メタデータ） (2026-08-18T23:40:28Z) - SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
ツール統合推論は、小さな言語モデルにスケールすることが難しい。
近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。
スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
論文 参考訳（メタデータ） (2026-05-08T13:30:42Z) - A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。
オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
論文 参考訳（メタデータ） (2026-04-01T08:32:34Z) - On the Surprising Effectiveness of Large Learning Rates under Standard Width Scaling [15.769249369390884]
最適な学習速度は理論的な予測よりも遅く、ネットワークは、非常に広い範囲でも安定した訓練と非自明な特徴学習の両方を示します。
特に, クロスエントロピー (CE) の損失下では, 不安定な状態は, 破滅的な不安定な状態と, より良質な制御された分岐状態の2つのサブレジムから構成されることを示す。
我々の経験的証拠は、幅スケーリングの考慮は、経験的最大学習率指数を予測するのに驚くほど有用であることを示している。
論文 参考訳（メタデータ） (2025-05-28T15:40:48Z) - Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits [0.0]
そこで本研究では,Laplace近似法を用いて精度の高い不確実性推定値を得る手法を提案する。
我々の主張を検証するために、MultiNLIデータセット上のBertベースのモデルを用いて、我々のアプローチをベンチマークする。
論文 参考訳（メタデータ） (2025-05-02T07:18:52Z) - Instance-dependent Early Stopping [57.912273923450726]
本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。
IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。
IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
論文 参考訳（メタデータ） (2025-02-11T13:34:09Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳（メタデータ） (2024-07-14T03:51:49Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。