論文の概要: Powerful Teachers Matter: Text-Guided Multi-view Knowledge Distillation with Visual Prior Enhancement

• arxiv url: http://arxiv.org/abs/2603.24208v1
• Date: Wed, 25 Mar 2026 11:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.26608
• Title: Powerful Teachers Matter: Text-Guided Multi-view Knowledge Distillation with Visual Prior Enhancement
• Title（参考訳）: 有能な教師が重要: 視覚強調によるテキストガイド型多視点知識蒸留
• Authors: Xin Zhang, Jianyang Xu, Hao Peng, Dongjing Wang, Jingyuan Zheng, Yu Li, Yuyu Yin, Hongbo Wang,
• Abstract要約: テキスト誘導多視点知識蒸留(TMKD)を提案する。 TMKDは、知識蒸留性能を最大4.49%向上させる。
• 参考スコア（独自算出の注目度）: 20.269927864173464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation transfers knowledge from large teacher models to smaller students for efficient inference. While existing methods primarily focus on distillation strategies, they often overlook the importance of enhancing teacher knowledge quality. In this paper, we propose Text-guided Multi-view Knowledge Distillation (TMKD), which leverages dual-modality teachers, a visual teacher and a text teacher (CLIP), to provide richer supervisory signals. Specifically, we enhance the visual teacher with multi-view inputs incorporating visual priors (edge and high-frequency features), while the text teacher generates semantic weights through prior-aware prompts to guide adaptive feature fusion. Additionally, we introduce vision-language contrastive regularization to strengthen semantic knowledge in the student model. Extensive experiments on five benchmarks demonstrate that TMKD consistently improves knowledge distillation performance by up to 4.49\%, validating the effectiveness of our dual-teacher multi-view enhancement strategy. Code is available at https://anonymous.4open.science/r/TMKD-main-44D1.
• Abstract（参考訳）: 知識蒸留は、大きな教師モデルからより小さな学生に知識を伝達し、効率的な推論を行う。 既存の手法は主に蒸留戦略に重点を置いているが、教師の知識の質を高めることの重要性を見落としていることが多い。 本稿では,両モードの教師,視覚教師,テキスト教師(CLIP)を活用するテキスト誘導多視点知識蒸留(TMKD)を提案する。 具体的には,テキスト教師が事前認識のプロンプトによって意味重みを生成し,適応的特徴融合を誘導するのに対し,視覚教師は視覚的事前入力(エッジおよび高周波特徴)を取り入れた多視点入力で視覚教師を強化する。 さらに,学生モデルにおける意味的知識を強化するために,視覚言語によるコントラスト正規化を導入する。 5つのベンチマーク実験の結果,TMKDは知識蒸留性能を最大4.49 %向上させ,両教師によるマルチビュー向上戦略の有効性を検証した。 コードはhttps://anonymous.4open.science/r/TMKD-main-44D1で公開されている。

関連論文リスト

• HAWAII: Hierarchical Visual Knowledge Transfer for Efficient Vision-Language Models [12.58203406442855]
  HAWAIIは、複数の視覚専門家から知識を単一の視覚エンコーダに抽出する新しいフレームワークである。 教師間の対立を軽減するため,教師固有のローランド適応 (LoRA) アダプタを提案する。 きめ細かいレベルでは、各教師の最も情報性の高いトークンを適応的に強調するためにトークン重要度スコアが用いられる。 粗粒度レベルでは、複数の教師の知識を要約し、ルータ付き汎用LoRAアダプタを用いて学生に伝達する。
  論文  参考訳（メタデータ） (2025-06-23T19:43:25Z)
• Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition [24.293448609592147]
  マルチ教師知識蒸留(Multi-Teacher Knowledge Distillation, KD)は、教師プールから学生ネットワークへ多様な知識を伝達する。 本稿では,MTKD-RL(Multi-Teacher Knowledge Distillation with Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2025-02-22T09:31:24Z)
• Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning [16.293262022872412]
  適応型多教師知識蒸留とメタラーニング(MMKD)を提案する。 メタウェイトネットワークの助けを借りて、出力層と中間層における多様な教師の知識を活用し、生徒のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2023-06-11T09:38:45Z)
• Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation [52.53446712834569]
  LGTM(Learning Good Teacher Matters)は,教師の学習プロセスに蒸留の影響を組み込むための効果的な訓練手法である。 我々のLGTMはGLUEベンチマークで6つのテキスト分類タスクに基づいて10の共通知識蒸留基準を上回ります。
  論文  参考訳（メタデータ） (2023-05-16T17:50:09Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Adaptive Multi-Teacher Multi-level Knowledge Distillation [11.722728148523366]
  適応型多段階知識蒸留学習フレームワーク(AMTML-KD)を提案する。 i)各教師と潜在表現を関連付けて、インスタンスレベルの教師の重要性の重みを適応的に学習する。 そのため、学生モデルはAMMTML-KDを介して複数の教師から多レベルの知識を学ぶことができます。
  論文  参考訳（メタデータ） (2021-03-06T08:18:16Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。