論文の概要: Two mathematical models of knowledge distillation
- arxiv url: http://arxiv.org/abs/2611.17230v1
- Date: Thu, 12 Nov 2026 18:21:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.585491
- Title: Two mathematical models of knowledge distillation
- Title(参考訳): 知識蒸留の2つの数学的モデル
- Abstract要約: 蒸留の数学的モデルを提案し,解析した結果,蒸留の性能は,より良いモデルを得ることではなく,景観の最適化が容易になることが示唆された。
勾配勾配で訓練された線形モデルに対して、蒸留は非蒸留モデルよりも性能の高い学生モデルに適合することが証明される。
この理論は、蒸留が利益をもたらす方法(すなわち、最適化速度において、一般化においてではなく)を明確にし、実際のデータセットに関する実験は、理論的な予測を裏付ける。
- 参考スコア(独自算出の注目度): 25.530557968687617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many hypotheses compete to explain the successes of knowledge distillation. To help address this, we propose and analyze a mathematical model of distillation, which suggests that distillation's performance comes not from obtaining better models but from easier to optimize landscapes. For generalized linear models trained with stochastic gradient descent, we prove that distillation fits performant student models asymptotically more quickly than non-distilled models. In rank-1 matrix approximation, we characterize conditions on the target matrix under which gradient descent with distillation converges strictly faster than training on the supervised objective. The theory helps delineate the ways distillation provides benefits (i.e., in optimization speed, not in generalization), and experiments on real datasets corroborate the theoretical predictions.
- Abstract(参考訳): 多くの仮説が知識蒸留の成功を説明するために競っている。
これを解決するために, 蒸留の数学的モデルを提案し, 解析した結果, 蒸留の性能は, より良いモデルを得ることではなく, 景観の最適化が容易になることが示唆された。
確率勾配勾配で訓練された一般化線形モデルに対して、蒸留は非蒸留モデルよりも漸近的に生徒モデルに適合することが証明される。
ランク1行列近似では, 蒸留による勾配降下が指導対象のトレーニングよりも厳密に収束するターゲット行列の条件を特徴付ける。
この理論は、蒸留が利益をもたらす方法(すなわち、最適化速度において、一般化においてではなく)を明確にし、実際のデータセットに関する実験は、理論的な予測を裏付ける。
関連論文リスト
- Toward Theoretical Insights into Diffusion Trajectory Distillation via Operator Merging [10.315743300140966]
拡散軌道蒸留は、高品質な出力を生成するがサンプリング速度の遅い拡散モデルのサンプリングを加速することを目的としている。
信号の忠実度を最大に保存する最適なマージ戦略を計算するためのプログラミングアルゴリズムを提案する。
本研究は, 拡散軌道蒸留の理論的理解を高め, 蒸留戦略改善のための実践的洞察を提供するものである。
論文 参考訳(メタデータ) (2025-05-21T21:13:02Z) - Towards Training One-Step Diffusion Models Without Distillation [72.80423908458772]
我々は,教師のスコア管理を完全に禁止する,新しい研修方法のファミリーを紹介する。
教師の重みによる学生モデルの初期化は依然として重要な課題である。
論文 参考訳(メタデータ) (2025-02-11T23:02:14Z) - Generative Dataset Distillation Based on Self-knowledge Distillation [49.20086587208214]
本稿では,予測ロジットの整列精度を向上させる新しい生成データセット蒸留法を提案する。
本手法は, 合成データと原データとのより正確な分布マッチングを実現するために, 自己知識蒸留を統合したものである。
提案手法は, 既存の最先端手法より優れており, 蒸留性能が良好である。
論文 参考訳(メタデータ) (2025-01-08T00:43:31Z) - Inference-Time Diffusion Model Distillation [59.350789627086456]
本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。
条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。
逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
論文 参考訳(メタデータ) (2024-12-12T02:07:17Z) - Towards a theory of model distillation [0.0]
蒸留は、複雑な機械学習モデルを、オリジナルを近似するより単純なモデルに置き換える作業である。
ニューラルネットワークを簡潔で明確な決定木表現に効率的に抽出する方法を示す。
我々は, 蒸留がスクラッチから学習するよりもはるかに安価であることを証明するとともに, その複雑さを特徴づけることを進める。
論文 参考訳(メタデータ) (2024-03-14T02:42:19Z) - Education distillation:getting student models to learn in shcools [11.017346789801238]
本稿では,教育蒸留(ED)と呼ばれる新しい知識蒸留法を紹介する。
EDは小学校、中学校、大学の教育段階を模倣し、参照ブロックをデザインする。
CIFAR100、Tiny Imagenet、Caltech、Food-101データセットの実験結果は、指導基準ブロックが忘れることの問題を効果的に回避できることを示している。
論文 参考訳(メタデータ) (2023-11-23T05:20:18Z) - Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。
知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。
我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
論文 参考訳(メタデータ) (2023-05-27T21:25:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。