論文の概要: Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification

• arxiv url: http://arxiv.org/abs/2511.18826v1
• Date: Mon, 24 Nov 2025 07:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.06502
• Title: Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
• Title（参考訳）: 効率的な画像分類のための不確かさを意識した二重学習型知識蒸留法
• Authors: Aakash Gore, Anoushka Dey, Aryan Mishra,
• Abstract要約: 本稿では,不確実性を考慮した二重学習型知識蒸留フレームワークを提案する。 2つの異質な学生アーキテクチャが教師ネットワークと相互に協調して学習するピアラーニング機構を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation has emerged as a powerful technique for model compression, enabling the transfer of knowledge from large teacher networks to compact student models. However, traditional knowledge distillation methods treat all teacher predictions equally, regardless of the teacher's confidence in those predictions. This paper proposes an uncertainty-aware dual-student knowledge distillation framework that leverages teacher prediction uncertainty to selectively guide student learning. We introduce a peer-learning mechanism where two heterogeneous student architectures, specifically ResNet-18 and MobileNetV2, learn collaboratively from both the teacher network and each other. Experimental results on ImageNet-100 demonstrate that our approach achieves superior performance compared to baseline knowledge distillation methods, with ResNet-18 achieving 83.84\% top-1 accuracy and MobileNetV2 achieving 81.46\% top-1 accuracy, representing improvements of 2.04\% and 0.92\% respectively over traditional single-student distillation approaches.
• Abstract（参考訳）: 知識蒸留はモデル圧縮の強力な技術として登場し、大きな教師ネットワークからコンパクトな学生モデルへの知識の伝達を可能にしている。 しかし,従来の知識蒸留法は,教師の予測に対する自信に関わらず,すべての教師の予測を等しく扱う。 本稿では,教師予測の不確実性を利用して,学生の学習を選択的に指導する,不確実性を考慮した二重学習型知識蒸留フレームワークを提案する。 本稿では,2つの異種学生アーキテクチャ,特にResNet-18とMobileNetV2が,教師ネットワークと相互に協調して学習するピアラーニング機構を提案する。 ImageNet-100の実験結果から,ResNet-18は83.84\%,MobileNetV2は81.46\%であり,従来のシングルストレート蒸留法に比べて2.04\%,0.92\%の改善が見られた。

関連論文リスト

• Distilling Calibrated Student from an Uncalibrated Teacher [8.101116303448586]
  校正されていない教師から学生を得る方法を研究する。 当社のアプローチは,カットアウトやミックスアップ,CutMixなど,データ拡張技術の融合によるものです。 従来の知識蒸留を超えて我々のアプローチを拡張し、それに適したものも見出す。
  論文  参考訳（メタデータ） (2023-02-22T16:18:38Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Estimating and Maximizing Mutual Information for Knowledge Distillation [24.254198219979667]
  相互情報最大化知識蒸留(MIMKD)を提案する。 提案手法は,教師と学生ネットワーク間の局所的特徴表現とグローバル的特徴表現の相互情報に対する低境界を同時に推定し,最大化するために,対照的な目的を用いる。 これは、より高性能だが計算コストの高いモデルから知識を伝達することで、低容量モデルの性能を向上させるために使用できる。
  論文  参考訳（メタデータ） (2021-10-29T17:49:56Z)
• Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation [20.17325172100031]
  本稿では,教師が構造的バックボーンを共有することで,複数の階層的な学生の助けを借りて学習する,新しい学生ヘルピング・ティーチンガー式,TESKD(Tell-Helping-Teacher Evolution)を提案する。 提案手法の有効性は,CIFAR-100 と ImageNet の2つの標準ベンチマークにおいて,様々なネットワーク設定による広範な実験により実証された。
  論文  参考訳（メタデータ） (2021-10-01T11:46:12Z)
• Multi-granularity for knowledge distillation [3.3970049571884204]
  生徒は教師が与える知識を理解する能力が異なる。 教師ネットワークの多粒性自己解析モジュールを設計する。 学生教育における堅牢な指導のために,安定した励振方式を提案する。
  論文  参考訳（メタデータ） (2021-08-15T07:47:08Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。