論文の概要: Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors

• arxiv url: http://arxiv.org/abs/2605.27967v1
• Date: Wed, 27 May 2026 05:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.757688
• Title: Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
• Title（参考訳）: 教師インフォームド・ミックスによるマルチ教師の知識蒸留
• Authors: Luyang Fang, Yongkai Chen, Jiazhang Cai, Ping Ma, Wenxuan Zhong,
• Abstract要約: 我々は,バイーシアン・フレームワーク内の複数の教師から蒸留した学生モデルを学習するMT-BKDについて紹介する。 エントロピーに基づく重み付け機構は、各教師の影響を適応的に調整し、生徒が複数の専門知識を効果的に組み合わせられるようにする。 MT-BKDは,タンパク質の細胞内位置予測や画像分類など,合成タスクと実世界のタスクの両方で有効である。
• 参考スコア（独自算出の注目度）: 6.218677961564673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation is a powerful method for model compression, enabling the efficient deployment of complex deep learning models (teachers), including large language models. However, its underlying statistical mechanisms remain unclear, and uncertainty evaluation is often overlooked, especially in real-world scenarios requiring diverse teacher expertise. To address these challenges, we introduce \textit{Multi-Teacher Bayesian Knowledge Distillation} (MT-BKD), where a distilled student model learns from multiple teachers within the Bayesian framework. Our approach leverages Bayesian inference to capture inherent uncertainty in the distillation process. We introduce a teacher-informed prior, integrating external knowledge from teacher models and task-specific training data, offering better generalization, robustness, and scalability. Additionally, an entropy-based weighting mechanism adaptively adjusts each teacher's influence, allowing the student to combine multiple sources of expertise effectively. MT-BKD enhances the interpretability of the student model's learning process, improves predictive accuracy, and provides uncertainty quantification. We validate MT-BKD on both synthetic and real-world tasks, including protein subcellular location prediction and image classification. Our experiments show improved performance and robust uncertainty quantification, highlighting the strengths of our MT-BKD framework.
• Abstract（参考訳）: 知識蒸留はモデル圧縮の強力な方法であり、大規模な言語モデルを含む複雑なディープラーニングモデル(教師)の効率的な展開を可能にする。 しかし、その基盤となる統計的メカニズムはいまだ不明であり、不確実性の評価はしばしば見過ごされている。 これらの課題に対処するために、蒸留された学生モデルがベイズフレームワーク内の複数の教師から学習する「textit{Multi-Teacher Bayesian Knowledge Distillation}」(MT-BKD)を紹介する。 提案手法はベイズ推定を利用して蒸留プロセスにおける本質的な不確実性を捉える。 教師モデルとタスク固有のトレーニングデータから外部知識を統合し、より優れた一般化、堅牢性、拡張性を提供する教師インフォームド事前導入を行う。 さらに、エントロピーに基づく重み付け機構は、各教師の影響を適応的に調整し、生徒が複数の専門知識を効果的に組み合わせられるようにする。 MT-BKDは、学生モデルの学習過程の解釈可能性を高め、予測精度を改善し、不確実な定量化を提供する。 MT-BKDは,タンパク質の細胞内位置予測や画像分類など,合成タスクと実世界のタスクの両方で有効である。 実験の結果,MT-BKDフレームワークの強みを浮き彫りにすることにより,性能の向上とロバストな不確実性定量化を実現した。

関連論文リスト

• MAVEN-T: Multi-Agent enVironment-aware Enhanced Neural Trajectory predictor with Reinforcement Learning [0.0]
  MAVEN-Tは、最先端の軌跡予測を実現する教師学習フレームワークである。 伝統的な蒸留の模擬天井を克服するために強化学習が組み込まれている。 NGSIMと高次元データセットの実験では、6.2倍のパラメータ圧縮と3.7倍の推論速度が示されている。
  論文  参考訳（メタデータ） (2026-04-11T11:34:13Z)
• Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models [26.06143154557816]
  知識蒸留は、データ監督と教師指導の両方を活用する学習パラダイムを確立する。 本研究では,教師の指導にどの程度依存しているかを規定する不確実性を考慮した蒸留フレームワークであるBeta-KDを提案する。
  論文  参考訳（メタデータ） (2026-03-22T22:33:25Z)
• MMT-ARD: Multimodal Multi-Teacher Adversarial Distillation for Robust Vision-Language Models [123.90007730845876]
  MMT-ARD: Multimodal Multi-Teacher Adversarial Distillation frameworkを提案する。 私たちの重要なイノベーションは、クリーンな機能の保存と堅牢な機能の強化を協調的に最適化する、デュアルテスタの知識融合アーキテクチャです。 ImageNetとゼロショットベンチマークの実験では、MT-ARDは頑健な精度を+4.32%、ゼロショットの精度を+3.5%改善している。
  論文  参考訳（メタデータ） (2025-11-21T17:46:44Z)
• MST-Distill: Mixture of Specialized Teachers for Cross-Modal Knowledge Distillation [8.68486556125022]
  MST-Distillは、専門教師が混在する新しいクロスモーダルな知識蒸留フレームワークである。 本稿では,蒸留経路の選択と知識の漂流という,既存のアプローチにおける2つの重要な課題を実証的に明らかにする。 本手法では,マルチモーダル構成とクロスモーダル構成の両方に多様な教師モデルのアンサンブルを用いており,インスタンスレベルのルーティングネットワークと統合されている。
  論文  参考訳（メタデータ） (2025-07-09T16:45:28Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)
• Knowledge Distillation Beyond Model Compression [13.041607703862724]
  知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-07-03T19:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。