論文の概要: How to Choose Your Teacher for Fine Grained Image Recognition

• arxiv url: http://arxiv.org/abs/2605.15689v1
• Date: Fri, 15 May 2026 07:24:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 03:45:13.163386
• Title: How to Choose Your Teacher for Fine Grained Image Recognition
• Title（参考訳）: きめ細かい画像認識のための教師の選び方
• Authors: Oswin Gosal, Edwin Arkel Rios, Augusto Christian Surya, Fernando Mikael, Bo-Cheng Lai, Min-Chun Hu,
• Abstract要約: 本稿では,教師の予測率に基づいて,教師の選択基準であるtextbfRatio 1-2を提案する。 3人の学生,8人の教師,8人のデータセットを4つのトレーニング戦略で総合的に分析したところ,我々の測定値が従来の方法よりも18%向上していることがわかった。
• 参考スコア（独自算出の注目度）: 41.84982875214807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained image recognition classifies subcategories such as bird species or car models. While state-of-the-art (SOTA) models are accurate, they are often too resource-intensive for deployment on constrained devices. Knowledge distillation addresses this by transferring knowledge from a large teacher model to a smaller student model. A key challenge is selecting the right teacher, as it heavily impacts student performance. This paper introduces a teacher selection metric, \textbf{Ratio 1-2}, based on teacher prediction ratios. Extensive analysis of over one thousand experiments across 3 students, 8 teachers, and 8 datasets under 4 training strategies demonstrates that our metric improves teacher selection by 18\% over previous methods, enabling small student models to achieve up to 17\% accuracy gains. Experiment codebase is available at: \href{https://github.com/arkel23/FGIR-KD-Teacher}{https://github.com/arkel23/FGIR-KD-Teacher}.
• Abstract（参考訳）: きめ細かい画像認識は、鳥種や自動車モデルのようなサブカテゴリを分類する。 State-of-the-art(SOTA)モデルは正確だが、制約のあるデバイスへのデプロイにはリソース集約的過ぎることが多い。 知識蒸留は、大きな教師モデルからより小さな学生モデルに知識を移すことによってこの問題に対処する。 重要な課題は、生徒のパフォーマンスに大きく影響するため、正しい教師を選ぶことです。 本稿では,教師の予測比に基づいて,教師の選択基準である「textbf{Ratio 1-2}」を紹介する。 3人の学生,8人の教師,8人のデータセットを4つのトレーニング戦略で総合的に分析した結果,我々の測定値が従来の方法よりも18%向上し,小学生モデルでは最大17倍の精度向上が達成できた。 実験コードベースは以下の通りである。 \href{https://github.com/arkel23/FGIR-KD-Teacher}{https://github.com/arkel23/FGIR-KD-Teacher}

関連論文リスト

• Efficient Face Image Quality Assessment via Self-training and Knowledge Distillation [51.43664253596246]
  顔画像品質評価(FIQA)は、様々な顔関連アプリケーションに不可欠である。 我々は,現実のアプリケーションに容易に展開可能な計算効率の良いFIQA手法の開発を目指している。
  論文  参考訳（メタデータ） (2025-07-21T15:17:01Z)
• ScaleKD: Strong Vision Transformers Could Be Excellent Teachers [15.446480934024652]
  本稿では, 簡便かつ効果的な知識蒸留法であるScaleKDを提案する。 本手法は,画像分類データセット上で,さまざまな畳み込みニューラルネットワーク(CNN),多層パーセプトロン(MLP),ViTアーキテクチャにまたがる学生のバックボーンを訓練することができる。 教師モデルやその事前学習データセットのサイズをスケールアップする際,提案手法は所望のスケーラブルな特性を示す。
  論文  参考訳（メタデータ） (2024-11-11T08:25:21Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation [20.17325172100031]
  本稿では,教師が構造的バックボーンを共有することで,複数の階層的な学生の助けを借りて学習する,新しい学生ヘルピング・ティーチンガー式,TESKD(Tell-Helping-Teacher Evolution)を提案する。 提案手法の有効性は,CIFAR-100 と ImageNet の2つの標準ベンチマークにおいて,様々なネットワーク設定による広範な実験により実証された。
  論文  参考訳（メタデータ） (2021-10-01T11:46:12Z)
• Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
  本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。 我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
  論文  参考訳（メタデータ） (2020-04-11T04:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。