論文の概要: Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2603.21426v1
• Date: Sun, 22 Mar 2026 22:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.411851
• Title: Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルの不確実性を考慮した知識蒸留
• Abstract要約: 知識蒸留は、データ監督と教師指導の両方を活用する学習パラダイムを確立する。 本研究では,教師の指導にどの程度依存しているかを規定する不確実性を考慮した蒸留フレームワークであるBeta-KDを提案する。
• 参考スコア（独自算出の注目度）: 26.06143154557816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation establishes a learning paradigm that leverages both data supervision and teacher guidance. However, determining the optimal balance between learning from data and learning from the teacher is challenging, as some samples may be noisy while others are subject to teacher uncertainty. This motivates the need for adaptively balancing data and teacher supervision. We propose Beta-weighted Knowledge Distillation (Beta-KD), an uncertainty-aware distillation framework that adaptively modulates how much the student relies on teacher guidance. Specifically, we formulate teacher--student learning from a unified Bayesian perspective and interpret teacher supervision as a Gibbs prior over student activations. This yields a closed-form, uncertainty-aware weighting mechanism and supports arbitrary distillation objectives and their combinations. Extensive experiments on multimodal VQA benchmarks demonstrate that distilling student Vision-Language Models from a large teacher VLM consistently improves performance. The results show that Beta-KD outperforms existing knowledge distillation methods. The code is available at https://github.com/Jingchensun/beta-kd.
• Abstract（参考訳）: 知識蒸留は、データ監督と教師指導の両方を活用する学習パラダイムを確立する。 しかし、データからの学習と教師からの学習の最適なバランスを決定することは困難であり、一部のサンプルは騒々しいが、他のサンプルは教師の不確実性にさらされている。 これは、データと教師の監督を適応的にバランスさせることの必要性を動機付けている。 本研究では,教師の指導にどの程度依存しているかを適応的に調節する不確実性を考慮した蒸留フレームワークであるBeta-KDを提案する。 具体的には、統一ベイズ的視点から教師の学習を定式化し、教師の指導を学生の活性化に先立ってギブズとして解釈する。 これにより、クローズドな不確実性を考慮した重み付け機構が得られ、任意の蒸留目標とその組み合わせをサポートする。 マルチモーダルVQAベンチマークの大規模な実験は、大規模な教師VLMから学生ビジョンランゲージモデルを蒸留することで、常に性能が向上することを示した。 その結果,β-KDは既存の知識蒸留法よりも優れていた。 コードはhttps://github.com/Jingchensun/beta-kd.comで公開されている。

関連論文リスト

• Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors [6.218677961564673]
  我々は,バイーシアン・フレームワーク内の複数の教師から蒸留した学生モデルを学習するMT-BKDについて紹介する。 エントロピーに基づく重み付け機構は、各教師の影響を適応的に調整し、生徒が複数の専門知識を効果的に組み合わせられるようにする。 MT-BKDは,タンパク質の細胞内位置予測や画像分類など,合成タスクと実世界のタスクの両方で有効である。
  論文  参考訳（メタデータ） (2026-05-27T05:03:24Z)
• Curriculum Learning-Guided Progressive Distillation in Large Language Models [18.961191510804134]
  既存の蒸留アプローチでは、トレーニングデータの学習順序と、教師と学生のモデル間の容量ミスマッチという、2つの重要な要因を見落としていることが多い。 本稿では,教師の強度とデータ難易度を一致させることにより,両要因を統一したフレームワークであるCLPD(Curriculum Learning-Guided Progressive Distillation)を提案する。 私たちのフレームワークはモジュール化されており、最小限のオーバーヘッドで標準的な蒸留アルゴリズムに統合することができます。
  論文  参考訳（メタデータ） (2026-05-11T21:37:20Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Improving Knowledge Distillation with Teacher's Explanation [14.935696904019146]
  本稿では,KED(Knowledge Explaining Distillation)フレームワークを紹介する。 KEDは、教師の予測だけでなく、教師の説明からも学べるようにしている。 様々なデータセットに対する実験により,KEDの学生はKDの学生と同じような複雑さを著しく上回る結果が得られた。
  論文  参考訳（メタデータ） (2023-10-04T04:18:01Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Switchable Online Knowledge Distillation [68.2673580932132]
  オンライン知識蒸留(OKD)は、教師と学生の違いを相互に活用することで、関係するモデルを改善する。 そこで我々は,これらの疑問に答えるために,スイッチブルオンライン知識蒸留(SwitOKD)を提案する。
  論文  参考訳（メタデータ） (2022-09-12T03:03:40Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。