論文の概要: A Fast Knowledge Distillation Framework for Visual Recognition
- arxiv url: http://arxiv.org/abs/2112.01528v1
- Date: Thu, 2 Dec 2021 18:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 14:09:11.884615
- Title: A Fast Knowledge Distillation Framework for Visual Recognition
- Title（参考訳）: 視覚認識のための高速知識蒸留フレームワーク
- Authors: Zhiqiang Shen and Eric Xing
- Abstract要約: Fast Knowledge Distillation (FKD) フレームワークは蒸留訓練フェーズを再現し,マルチクロップKDアプローチを用いてソフトラベルを生成する。
FKDは従来の画像分類フレームワークよりも効率的です。
- 参考スコア（独自算出の注目度）: 17.971973892352864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Knowledge Distillation (KD) has been recognized as a useful tool in
many visual tasks, such as supervised classification and self-supervised
representation learning, the main drawback of a vanilla KD framework is its
mechanism, which consumes the majority of the computational overhead on
forwarding through the giant teacher networks, making the entire learning
procedure inefficient and costly. ReLabel, a recently proposed solution,
suggests creating a label map for the entire image. During training, it
receives the cropped region-level label by RoI aligning on a pre-generated
entire label map, allowing for efficient supervision generation without having
to pass through the teachers many times. However, as the KD teachers are from
conventional multi-crop training, there are various mismatches between the
global label-map and region-level label in this technique, resulting in
performance deterioration. In this study, we present a Fast Knowledge
Distillation (FKD) framework that replicates the distillation training phase
and generates soft labels using the multi-crop KD approach, while training
faster than ReLabel since no post-processes such as RoI align and softmax
operations are used. When conducting multi-crop in the same image for data
loading, our FKD is even more efficient than the traditional image
classification framework. On ImageNet-1K, we obtain 79.8% with ResNet-50,
outperforming ReLabel by ~1.0% while being faster. On the self-supervised
learning task, we also show that FKD has an efficiency advantage. Our project
page: http://zhiqiangshen.com/projects/FKD/index.html, source code and models
are available at: https://github.com/szq0214/FKD.
- Abstract（参考訳）: 知識蒸留(KD)は、教師付き分類や自己教師型表現学習など多くの視覚的タスクにおいて有用なツールとして認識されているが、バニラKDフレームワークの主な欠点は、巨大な教師ネットワークを転送する際の計算オーバーヘッドの大部分を消費し、学習手順全体を非効率でコストがかかるメカニズムである。
最近提案されたソリューションであるReLabelは、イメージ全体のラベルマップを作成することを提案している。
トレーニング中は、RoIが収集した地域レベルのラベルを事前に生成したラベルマップに合わせることで、教師を何度も通すことなく効率的な監督生成を可能にする。
しかし、kdの教師は従来のマルチクロップ訓練から来ているため、この手法ではグローバルラベルマップと地域レベルラベルの間に様々なミスマッチがあり、結果としてパフォーマンスが低下する。
本研究では,蒸留工程を再現し,マルチクロップKDアプローチを用いてソフトラベルを生成するとともに,RoIアライメントやソフトマックス操作などのポストプロセスが使用されていないため,ReLabelよりも高速なトレーニングを行うFKDフレームワークを提案する。
データローディングで同じイメージでマルチクロップを行う場合、FKDは従来の画像分類フレームワークよりも効率的です。
ImageNet-1Kでは、ResNet-50で79.8%を獲得し、より高速なReLabelを約1.0%上回った。
自己教師付き学習タスクでは,fkdが効率上優れていることも示している。
プロジェクトページ: http://zhiqiangshen.com/projects/FKD/index.html, ソースコードとモデルは以下の通りである。
関連論文リスト
- Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - CES-KD: Curriculum-based Expert Selection for Guided Knowledge
Distillation [4.182345120164705]
本稿では,知識蒸留のためのカリキュラムエキスパート選択法(CES-KD)を提案する。
CES-KDは、階層化された教育カリキュラムを使用して学生ネットワークを徐々にガイドすべきという仮説に基づいている。
具体的には、画像の分類の難しさに起因したカリキュラムに基づいて、入力画像ごとに1人の教師を選択する段階的なTAベースのKD手法を提案する。
論文 参考訳（メタデータ） (2022-09-15T21:02:57Z) - Black-box Few-shot Knowledge Distillation [55.27881513982002]
知識蒸留 (KD) は、大きな「教師」ネットワークからより小さな「学生」ネットワークへ知識を伝達する効率的な手法である。
そこで本研究では,未ラベルのトレーニングサンプルとブラックボックスの教師を用いて,学生を訓練するためのブラックボックス数ショットKD手法を提案する。
我々は、画像分類タスクにおいて、最近のSOTA/ゼロショットKD法よりも大幅に優れていることを示すため、広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-07-25T12:16:53Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳（メタデータ） (2022-06-07T02:03:06Z) - Self Supervision to Distillation for Long-Tailed Visual Recognition [34.29744530188875]
我々は,ラベル相関を長期認識のための多段階学習手法に組み込むための強力な手法として,ソフトラベルが有効であることを示す。
具体的には、概念的にシンプルであるが、特に有効である多段階トレーニングスキームを、自監督蒸留(SSD)と呼ぶ。
提案手法は,ImageNet-LT, CIFAR100-LT, iist 2018の3つの長尾認識ベンチマークに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2021-09-09T07:38:30Z) - Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge
Distillation [12.097302014936655]
本論文では,FRSKD (Self-Knowledge Distillation) による自己知識蒸留法を提案する。
提案手法であるFRSKDは,ソフトラベルと特徴マップ蒸留の両方を自己知識蒸留に利用できる。
様々なタスクとベンチマークデータセットのパフォーマンス改善を列挙することで、frskdの有効性を実証する。
論文 参考訳（メタデータ） (2021-03-15T10:59:43Z) - Knowledge-Guided Multi-Label Few-Shot Learning for General Image
Recognition [75.44233392355711]
KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。
まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。
次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。
グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
論文 参考訳（メタデータ） (2020-09-20T15:05:29Z) - Semantic Labeling of Large-Area Geographic Regions Using Multi-View and
Multi-Date Satellite Images and Noisy OSM Training Labels [0.0]
建物や道路を意味的にラベル付けする新しい多視点学習フレームワークとCNNアーキテクチャを提案する。
多視点セマンティックセグメンテーションへのアプローチは,従来の手法に比べてクラスごとのIoUスコアが4-7%向上した。
論文 参考訳（メタデータ） (2020-08-24T09:03:31Z) - Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
論文 参考訳（メタデータ） (2020-06-17T17:48:22Z) - Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。
我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
論文 参考訳（メタデータ） (2020-04-11T04:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。