論文の概要: Knowledge Distillation of Uncertainty using Deep Latent Factor Model

• arxiv url: http://arxiv.org/abs/2510.19290v1
• Date: Wed, 22 Oct 2025 06:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.223645
• Title: Knowledge Distillation of Uncertainty using Deep Latent Factor Model
• Title（参考訳）: 深部潜伏因子モデルを用いた不確かさの知識蒸留
• Authors: Sehyun Park, Jongjin Lee, Yunseop Shin, Ilsang Ohn, Yongdai Kim,
• Abstract要約: ガウス蒸留と呼ばれる新しい流通蒸留法を導入する。 これは、Dep Latent Factor Model (DLF)と呼ばれる特殊なガウス過程による教師のアンサンブルの分布を推定する。 複数のベンチマークデータセットを用いて,提案したガウス蒸留が既存のベースラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.148306002388196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep ensembles deliver state-of-the-art, reliable uncertainty quantification, but their heavy computational and memory requirements hinder their practical deployments to real applications such as on-device AI. Knowledge distillation compresses an ensemble into small student models, but existing techniques struggle to preserve uncertainty partly because reducing the size of DNNs typically results in variation reduction. To resolve this limitation, we introduce a new method of distribution distillation (i.e. compressing a teacher ensemble into a student distribution instead of a student ensemble) called Gaussian distillation, which estimates the distribution of a teacher ensemble through a special Gaussian process called the deep latent factor model (DLF) by treating each member of the teacher ensemble as a realization of a certain stochastic process. The mean and covariance functions in the DLF model are estimated stably by using the expectation-maximization (EM) algorithm. By using multiple benchmark datasets, we demonstrate that the proposed Gaussian distillation outperforms existing baselines. In addition, we illustrate that Gaussian distillation works well for fine-tuning of language models and distribution shift problems.
• Abstract（参考訳）: ディープアンサンブルは最先端で信頼性の高い不確実性定量化を提供するが、その重い計算とメモリ要件は、デバイス上のAIのような実際のアプリケーションへの実践的なデプロイを妨げる。 知識蒸留は、小さな学生モデルにアンサンブルを圧縮するが、既存の技術は、DNNのサイズが小さくなるため、不確実性を維持するのに苦慮している。 この制限を解消するために,教師のアンサンブルを学生のアンサンブルではなく生徒のアンサンブルに圧縮するガウス蒸留法(ガウス蒸留法)を導入し,特定の確率過程の実現として教師アンサンブルの各メンバーを扱い,特定のガウス的プロセス(DLF)と呼ばれる特別なガウス的プロセスを通じて教師アンサンブルの分布を推定する。 DLFモデルの平均と共分散関数は、期待最大化(EM)アルゴリズムを用いて安定に推定される。 複数のベンチマークデータセットを用いて,提案したガウス蒸留が既存のベースラインより優れていることを示す。 さらに,ガウス蒸留が言語モデルの微調整や分布シフト問題に有効であることを示す。

関連論文リスト

• Why Knowledge Distillation Works in Generative Models: A Minimal Working Explanation [53.30082523545212]
  知識蒸留(KD)は、現代の生産モデルの訓練と展開における中核的な要素である。 我々は,KDが学生モデルにおける精度とリコールのトレードオフを引き起こすことを示す。 本分析は、生成モデルにおけるKDの有効性について、単純かつ一般的な説明を提供する。
  論文  参考訳（メタデータ） (2025-05-19T13:39:47Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [22.256068524699472]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes [44.97759066341107]
  一般知識蒸留(GKD)は、教師からのフィードバックを活用して、学生を自己生成出力シーケンスで訓練する。 本稿では,自動回帰言語モデルの要約,翻訳,算術的推論におけるGKDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-23T17:56:26Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Learning Generative Models using Denoising Density Estimators [29.068491722778827]
  縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。 我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。 実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-01-08T20:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。