論文の概要: PACED: Distillation at the Frontier of Student Competence

• arxiv url: http://arxiv.org/abs/2603.11178v1
• Date: Wed, 11 Mar 2026 18:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.558883
• Title: PACED: Distillation at the Frontier of Student Competence
• Title（参考訳）: PACED:学生能力の最前線での蒸留
• Abstract要約: Pacedは、近縁開発ゾーンに蒸留を集中させるフレームワークである。 逆KLを持つ命令調整モデルでは、ゲインはベースラインを超える。 フォワードKL-then-reverse-KLスケジュールは、我々の設定において最強の結果をもたらす。
• 参考スコア（独自算出の注目度）: 17.384089089363382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard LLM distillation wastes compute on two fronts: problems the student has already mastered (near-zero gradients) and problems far beyond its reach (incoherent gradients that erode existing capabilities). We show that this waste is not merely intuitive but structurally inevitable: the gradient signal-to-noise ratio in distillation provably vanishes at both pass-rate extremes. This theoretical observation leads to Paced, a framework that concentrates distillation on the zone of proximal development -- the frontier of a student model's competence -- via a principled pass-rate weight $w(p) = p^α(1 - p)^β$ derived from the boundary-vanishing structure of distillation gradients. Key results: (1) Theory: We prove that the Beta kernel $w(p) = p^α(1-p)^β$ is a leading-order weight family arising from the SNR structure of distillation, and that it is minimax-robust -- under bounded multiplicative misspecification, worst-case efficiency loss is only $O(δ^2)$. (2)Distillation: On distillation from a larger teacher to a smaller student model with forward KL, Paced achieves significant gain over the base model, while keeping benchmark forgetting at a low level. (3)Self-distillation: On instruction-tuned models with reverse KL, gains are exceeding baselines as well. (4)Two-stage synergy: A forward-KL-then-reverse-KL schedule yields the strongest results in our setting, reaching substantial improvements on standard reasoning benchmarks -- supporting a mode-coverage-then-consolidation interpretation of the distillation process. All configurations require only student rollouts to estimate pass rates, need no architectural changes, and are compatible with any KL direction.
• Abstract（参考訳）: 標準LLM蒸留廃棄物は、学生が既に習得した問題(ほぼゼロ勾配)と、その到達範囲を超えた問題(既存の能力を損なう不整合勾配)の2つの面で計算される。 この廃棄物は直感的なだけでなく構造的にも避けられないものであり, 蒸留における勾配信号-雑音比は, 双方の通過速度の極端で確実に消失することを示す。 この理論的な観察は、学生モデルの能力のフロンティアである近位発展のゾーンに蒸留を集中させる枠組みであるPacedを、蒸留勾配の境界消滅構造から導いた、原則化されたパスレートの重量$w(p) = p^α(1 - p)^β$によって導く。 主な結果:(1) 理論: ベータ核 $w(p) = p^α(1-p)^β$ は蒸留の SNR 構造から生じる最上位の重みファミリーであり、また、有界乗法的不特定性の下では、最悪のケース効率損失はわずか$O(δ^2)$であることを示す。 2) 蒸留: より大きい教師からより小さい学生へのKLの蒸留では, ベンチマークを低レベルに保ちながら, 基礎モデルよりも大きく向上した。 (3)自己蒸留:逆KLの命令調整モデルでは、ゲインもベースラインを超えている。 (4)2段階の相乗効果: フォワード-KL-then-reverse-KLスケジュールは, 蒸留プロセスのモード被覆-then-consolidation解釈をサポートする標準推論ベンチマークにおいて, 大幅に改善された。 すべての構成では、合格率を見積もるためにのみ学生のロールアウトが必要で、アーキテクチャの変更は不要で、任意のKL方向と互換性がある。

関連論文リスト

• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• The Distributional View of Knowledge Distillation [13.841028090842869]
  トークンレベルの知識蒸留は、位置ごとに2つの条件分布に一致する。 我々は,教師が単一軟化アウトプットではなく,多温度ビューのファミリで表される分布ビューを開発する。
  論文  参考訳（メタデータ） (2026-08-15T13:03:31Z)
• On-Policy Delta Distillation [61.76889440384448]
  オンライン蒸留は強化学習における代替のポストトレーニング手法である。 我々は,教師の出力分布を直接模倣するのではなく,デルタ信号と呼ばれる新しい蒸留報酬を導入する。 デルタ信号はオンライン蒸留を著しく改善し、新しい蒸留法をオンポリシィデルタ蒸留(OPD$2$)と呼ぶ。
  論文  参考訳（メタデータ） (2026-07-16T16:07:19Z)
• Diffusion Fine-tuning with Rewarded Moment Matching Distillation [38.86104469934903]
  Rewarded Moment Matching Distillation (RMMD) は拡散モデルを同時に蒸留し、報酬関数を最大化する新しいフレームワークである。 我々は,最新の気象予報モデルであるGenCastにRMMDを適用し,CRPS(Continuous Ranked Probability Score)測定値の最適化を行った。 得られた蒸留モデルでは,教師モデルの93%を目標気象変数で上回りながら7.5倍のスピードアップを実現し,キャリブレーションも良好である。
  論文  参考訳（メタデータ） (2026-06-29T15:00:56Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• LIFT and PLACE: A Simple, Stable, and Effective Knowledge Distillation Framework for Lightweight Diffusion Models [9.025382179940767]
  Linear Fitting based distillation (LIFT)とPiecewise Local Adaptive Coefficient Estimation (PLACE)による粗粒蒸留の枠組み 実験の結果、LIFTとPLACEは拡散空間(イメージ/ラテント)、バックボーン(U-Net/DiT)、タスク(条件/条件)、データセット、さらにはMMDiT(SD3)のようなフローベースモデルにまで拡張できることが示された。
  論文  参考訳（メタデータ） (2026-05-19T12:03:53Z)
• On the Generalization of Knowledge Distillation: An Information-Theoretic View [5.248154928825152]
  我々は,教師と学生の学習を複合的なプロセスとしてモデル化し,蒸留の分岐を導入する。 本研究では,教師の局所的平坦度が厳密に拘束できることを示す。 線形ガウスのケーススタディでは、蒸留の発散は、バイアス、分散、ランク・ボトルネックのコストへの解釈可能な分解を許容する。
  論文  参考訳（メタデータ） (2026-05-13T08:10:05Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• HEAL: Hindsight Entropy-Assisted Learning for Reasoning Distillation [19.13058927652914]
  本稿では,この推論ギャップを埋めるためのRLフリーフレームワークであるHendsight Entropy-Assisted Learning (HEAL)を提案する。 HEALは3つのコアモジュールを相乗化している:(1)エントロピー・アシスト修復(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR))、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(GEAR)、(PEAR)、(PEAR)、(PEAR)、(PEAR)、(PEAR)、(PEAR)3段階)。
  論文  参考訳（メタデータ） (2026-03-11T03:12:10Z)
• Why Alignment Must Precede Distillation: A Minimal Working Explanation [50.784080714897776]
  標準のKD -> Alignワークフローは、稀だが望ましい振る舞いを整列するためにモデルの能力を低下させる。 蒸留に先立って,まず高リコール基準でアライメントを行わなければならないことを示す。
  論文  参考訳（メタデータ） (2025-09-28T06:12:19Z)
• Knowledge distillation through geometry-aware representational alignment [3.901188865224763]
  既存の特徴蒸留法では, 損失ゼロであっても, 特徴構造を捕捉できないことを示す。 次に、プロクリスト距離と特徴文法行列のフロベニウスノルムの使用を動機付け、すでに表現的アライメントの測定の文脈で一般的な距離である。 本手法による特徴蒸留は,言語モデルファミリー間での蒸留性能の統計的に有意な改善を示すことを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:59:46Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Hyper-SD: Trajectory Segmented Consistency Model for Efficient Image Synthesis [20.2271205957037]
  Hyper-SDはODEトラジェクトリ保存と改革の利点を活かす新しいフレームワークである。 本稿では, 予め定義された時間ステップセグメント内で一貫した蒸留を行うために, トラジェクティブ・セグメンテッド・コンシスタンス蒸留を導入する。 人間のフィードバック学習を取り入れ、低段階のモデルの性能を高めるとともに、蒸留プロセスによって生じる性能損失を軽減する。
  論文  参考訳（メタデータ） (2024-04-21T15:16:05Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation [72.70058049274664]
  文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。 我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
  論文  参考訳（メタデータ） (2022-10-25T07:07:54Z)
• Aligning Logits Generatively for Principled Black-Box Knowledge Distillation [49.43567344782207]
  Black-Box Knowledge Distillation (B2KD)は、クラウドからエッジへのモデル圧縮において、サーバ上にホストされる見えないデータとモデルによって定式化された問題である。 民営化と蒸留による2段階のワークフローを形式化する。 そこで本研究では,ブラックボックスの煩雑なモデルを軽量に蒸留するKD (MEKD) を新たに提案する。
  論文  参考訳（メタデータ） (2022-05-21T02:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。