論文の概要: Distilling Knowledge via Knowledge Review
- arxiv url: http://arxiv.org/abs/2104.09044v1
- Date: Mon, 19 Apr 2021 04:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 13:51:02.061553
- Title: Distilling Knowledge via Knowledge Review
- Title（参考訳）: 知識レビューによる知識の蒸留
- Authors: Pengguang Chen, Shu Liu, Hengshuang Zhao, Jiaya Jia
- Abstract要約: 教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。
知識蒸留において初めて, クロスステージ接続経路が提案されている。
最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
- 参考スコア（独自算出の注目度）: 69.15050871776552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation transfers knowledge from the teacher network to the
student one, with the goal of greatly improving the performance of the student
network. Previous methods mostly focus on proposing feature transformation and
loss functions between the same level's features to improve the effectiveness.
We differently study the factor of connection path cross levels between teacher
and student networks, and reveal its great importance. For the first time in
knowledge distillation, cross-stage connection paths are proposed. Our new
review mechanism is effective and structurally simple. Our finally designed
nested and compact framework requires negligible computation overhead, and
outperforms other methods on a variety of tasks. We apply our method to
classification, object detection, and instance segmentation tasks. All of them
witness significant student network performance improvement. Code is available
at https://github.com/Jia-Research-Lab/ReviewKD
- Abstract（参考訳）: 知識蒸留は,教師ネットワークから学生ネットワークへ知識を伝達し,学生ネットワークの性能を大幅に向上させることを目的としている。
従来の手法は主に、機能変換と損失関数を同じレベルの機能間で提案し、有効性を改善することに焦点を当てていた。
教師と生徒のネットワーク間における接続パスのクロスレベル要因について検討し,その重要さを明らかにする。
知識蒸留において初めて, クロスステージ接続経路が提案されている。
新しいレビューメカニズムは効果的で構造的にシンプルです。
最終的に設計されたネスト型でコンパクトなフレームワークは、無視可能な計算オーバーヘッドを必要とし、様々なタスクで他のメソッドよりも優れています。
分類,オブジェクト検出,インスタンス分割タスクに本手法を適用した。
いずれも学生ネットワークのパフォーマンス向上に寄与している。
コードはhttps://github.com/Jia-Research-Lab/ReviewKDで入手できる。
関連論文リスト
- Review helps learn better: Temporal Supervised Knowledge Distillation [9.220654594406508]
ネットワークトレーニング中、特徴写像の進化は時間的シーケンス特性に従うことが判明した。
この観察にインスパイアされた我々は、時間的監視された知識蒸留(TSKD)を提案する。
論文 参考訳（メタデータ） (2023-07-03T07:51:08Z) - On effects of Knowledge Distillation on Transfer Learning [0.0]
本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。
我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
論文 参考訳（メタデータ） (2022-10-18T08:11:52Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Students are the Best Teacher: Exit-Ensemble Distillation with
Multi-Exits [25.140055086630838]
本論文では,畳み込みニューラルネットワーク(CNN)の分類性能を改善するための知識蒸留に基づく新しい学習法を提案する。
教師が生徒にのみ教える従来の蒸留の概念とは異なり、生徒は他の生徒や教師がもっとよく学ぶのを助けることができる。
論文 参考訳（メタデータ） (2021-04-01T07:10:36Z) - Decoupled and Memory-Reinforced Networks: Towards Effective Feature
Learning for One-Step Person Search [65.51181219410763]
歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。
現在のワンステップアプローチには2つの大きな課題があります。
本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
論文 参考訳（メタデータ） (2021-02-22T06:19:45Z) - Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural
Architecture Search [60.965024145243596]
ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。
この問題を軽減するため, 単純で効果的な蒸留法を提案する。
本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。
優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
論文 参考訳（メタデータ） (2020-10-29T17:55:05Z) - Point Adversarial Self Mining: A Simple Method for Facial Expression
Recognition [79.75964372862279]
本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。
PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。
適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
論文 参考訳（メタデータ） (2020-08-26T06:39:24Z) - Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。
蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。
教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-07-03T03:22:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。