論文の概要: The Distributional View of Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2608.15215v1
• Date: Sat, 15 Aug 2026 13:03:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.231905
• Title: The Distributional View of Knowledge Distillation
• Title（参考訳）: 知識蒸留の分布的視点
• Abstract要約: トークンレベルの知識蒸留は、位置ごとに2つの条件分布に一致する。 我々は,教師が単一軟化アウトプットではなく,多温度ビューのファミリで表される分布ビューを開発する。
• 参考スコア（独自算出の注目度）: 13.841028090842869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token-level knowledge distillation (KD) matches two conditional distributions per position, yet the standard objectives compare them pointwise: a Kullback-Leibler gradient is blind to which wrong token receives probability mass. We develop a distributional view in which the teacher is represented not by a single softened output but by a family of multi-temperature views - marginals of the annealing path of its logits - and the student is trained against a geometry-aware aggregate of these views under an embedding-based ground cost. We formalize the resulting design space (mixtures, log-linear pooling, entropic Wasserstein barycenters, and a debiased Sinkhorn-divergence flagship in hub and path forms), prove an exact collapse result showing log-linear pooling of tempered views is equivalent to a single temperature, and give a multi-marginal Schrodinger-bridge reading that yields falsifiable predictions. On instruction-tuned Pythia pairs, experiments yield three empirical laws: (i) dispersion law - the benefit of multi-temperature aggregation grows monotonically with the effective temperature dispersion of the views, not with their number; (ii) dispersed views unlock the aggregation operator - the barycenter separates from the arithmetic mixture exactly when transport-based aggregation starts to beat averaging; and (iii) two-regime picture governed by the ceiling gap $Γ=\mathrm{PPL}_{\mathrm{SFT}}-\mathrm{PPL}_{T}$: when the fine-tuned teacher barely beats a supervised student the gentle transport objective is the best KD loss but no KD beats supervised fine-tuning, whereas at a real ceiling the ranking inverts - and the sign of the fidelity-generalization correlation flips. We argue that "which distillation loss is the best" is not a fixed property of the loss but a function of $Γ$.
• Abstract（参考訳）: トークンレベルの知識蒸留(KD)は、位置ごとに2つの条件分布と一致するが、標準的な目的はそれらをポイントワイズで比較する。 我々は,教師が単一軟化アウトプットではなく,マルチ温度ビューのファミリ(ロジットのアニールパスの限界)によって表現される分布ビューを開発し,これらのビューの幾何学的集合に対して,組込み型地上コストで学習する。 得られた設計空間(混合、対数線形プーリング、エントロピックなワッサースタインバリセンス、ハブおよびパス形式のシンクホーン分岐フラッグシップ)を定式化し、誘引されたビューの対数線形プーリングが1つの温度に等しいことを示す正確な崩壊結果を証明し、実現可能な予測をもたらすマルチマルジナルシュロディンガーブリッジ読影を与える。 命令調整されたピキア対について、実験は3つの経験則をもたらす。 一 分散法-多温度凝集の利益は、その数ではなく、ビューの有効温度分散とともに単調に成長する。 (ii)分散ビューはアグリゲーション演算子をアンロックします。 3) 天井の空白に支配される2つのレジム図面$ =\mathrm{PPL}_{\mathrm{SFT}}-\mathrm{PPL}_{T}$: 微調整された教師が教師の学生をほとんど打ち負かさないとき、優雅な輸送目的は教師のKD損失であるが、KDが監督された微調整に勝ることはない。一方、実際の天井では、ランクが逆転し、フィデリティと一般化の相関のサインが反転する。 我々は「どの蒸留損失が最も良いか」は損失の固定性ではなく、$$の関数であると主張する。

関連論文リスト

• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges [4.661816556403101]
  弱正則性仮定の下での一般的な汚職核について、これは条件付き終点族のフィッシャー・ラオ計量のトレースであることを示す。 この結果は、過度な経路空間相対エントロピーとして理想的目的が生じるシュル・オーディンガー橋変分原理から導かれる。
  論文  参考訳（メタデータ） (2026-08-24T23:48:06Z)
• Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
  そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。 我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。 我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
  論文  参考訳（メタデータ） (2026-06-18T07:34:33Z)
• Information-Geometric Decomposition of Generalization Error in Unsupervised Learning [0.0]
  教師なし学習のKulback-Leibler一般化誤差(GE)を,モデル誤差,データバイアス,分散の3つの非負成分に分解する。 分解は任意の e-フラットモデルクラスに対して完全である。
  論文  参考訳（メタデータ） (2026-04-14T06:23:18Z)
• Generative Drifting is Secretly Score Matching: a Spectral and Variational Perspective [33.2175112734242]
  ドリフトによる生成モデリングは、カーネルベースのドリフト演算子を通じて最先端のワンステップ画像生成を実現した。 ガウス核の下では、ドリフト作用素はちょうど滑らかな分布のスコア差である。
  論文  参考訳（メタデータ） (2026-03-10T17:30:35Z)
• A Unified View of Drifting and Score-Based Models [92.51878018325031]
  ドリフトがカーネル平滑分布にスコアベースの定式化を許すことを示すことにより,拡散モデルの背後にあるスコアマッチング原理との関係を正確にする。 一般的なラプラス核に対して正確な分解を導出し、ラプラス核に対してドリフトが低温および高次元状態におけるスコアマッチングの正確なプロキシであることを示す厳密な誤差境界を証明した。
  論文  参考訳（メタデータ） (2026-03-08T07:41:36Z)
• Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
  教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。 実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-24T11:54:06Z)
• Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance [51.532841645285835]
  本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。 本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T19:08:40Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• The Copycat Perceptron: Smashing Barriers Through Collective Learning [3.55026004901472]
  本研究では,各学生の一般化性能に影響を及ぼすサーマルノイズが存在する場合の一般的な設定を解析する。 レプリカの結合は、$alpha$の小さな値への位相図の曲がりに繋がることがわかった。 これらの結果は、最近推測されたReplicated Simulated Annealingのベイズ最適性に関する解析的および数値的な証拠を与える。
  論文  参考訳（メタデータ） (2023-08-07T17:51:09Z)
• Debiased Sinkhorn barycenters [110.79706180350507]
  最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。 このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。 両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。