論文の概要: Hands-on Guidance for Distilling Object Detectors
- arxiv url: http://arxiv.org/abs/2103.14337v1
- Date: Fri, 26 Mar 2021 09:00:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 12:58:17.294259
- Title: Hands-on Guidance for Distilling Object Detectors
- Title(参考訳): 蒸留物検知器のハンズオン指導
- Authors: Yangyang Qin, Hefei Ling, Zhenghai He, Yuxuan Shi, Lei Wu
- Abstract要約: 本手法は, より包括的な監視を行うため, 全ステージ特徴の潜伏した知識を抽出する。
VOCおよびCOCOデータセット上の異なる蒸留構成で広範な評価を行い、精度と速度のトレードオフのパフォーマンスを向上させます。
- 参考スコア(独自算出の注目度): 11.856477599768773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation can lead to deploy-friendly networks against the
plagued computational complexity problem, but previous methods neglect the
feature hierarchy in detectors. Motivated by this, we propose a general
framework for detection distillation. Our method, called Hands-on Guidance
Distillation, distills the latent knowledge of all stage features for imposing
more comprehensive supervision, and focuses on the essence simultaneously for
promoting more intense knowledge absorption. Specifically, a series of novel
mechanisms are designed elaborately, including correspondence establishment for
consistency, hands-on imitation loss measure and re-weighted optimization from
both micro and macro perspectives. We conduct extensive evaluations with
different distillation configurations over VOC and COCO datasets, which show
better performance on accuracy and speed trade-offs. Meanwhile, feasibility
experiments on different structural networks further prove the robustness of
our HGD.
- Abstract(参考訳): 知識蒸留は、計算複雑性の問題に対するデプロイフレンドリなネットワークをもたらす可能性があるが、従来の手法では検出器の機能階層を無視している。
そこで本研究では,蒸留の一般的な枠組みを提案する。
本手法は, より包括的指導を施すため, 全ステージ特徴の潜伏した知識を蒸留し, より強烈な知識吸収を促進するために, 同時にその本質に焦点を当てる。
具体的には、一貫性のための対応確立、手動模倣損失測定、マイクロおよびマクロの観点からの再重み付け最適化など、一連の新しいメカニズムを精巧に設計する。
我々は,VOCおよびCOCOデータセットに対して異なる蒸留構成で広範囲な評価を行い,精度および速度トレードオフにおける優れた性能を示す。
一方,異なる構造ネットワークにおける実現可能性実験により,hgdのロバスト性がさらに証明された。
関連論文リスト
- Bit-mask Robust Contrastive Knowledge Distillation for Unsupervised
Semantic Hashing [71.47723696190184]
セマンティックハッシュのための革新的なBit-mask Robust Contrastive Knowledge Distillation (BRCD)法を提案する。
BRCDはセマンティックハッシュモデルの蒸留のために特別に考案されている。
論文 参考訳(メタデータ) (2024-03-10T03:33:59Z) - Transformer-based Detection of Microorganisms on High-Resolution Petri
Dish Images [13.634866461329224]
医療や医薬品のプロセスには、継続的な衛生モニタリングに関する厳格なガイドラインがある。
これはしばしば、ペトリ料理の微生物を訓練された職員によって手動で数えるという労働集約的な作業を伴う。
本稿では,新しい変圧器変動を利用した高分解能検出パイプラインであるAttnPAFPNを紹介する。
論文 参考訳(メタデータ) (2023-08-18T10:07:38Z) - Diffusion-based Visual Counterfactual Explanations -- Towards Systematic
Quantitative Evaluation [64.0476282000118]
視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。
評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。
本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
論文 参考訳(メタデータ) (2023-08-11T12:22:37Z) - Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
蒸留した学生の一般化行動について検討する。
この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。
オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
論文 参考訳(メタデータ) (2023-01-28T16:34:47Z) - DETRDistill: A Universal Knowledge Distillation Framework for
DETR-families [11.9748352746424]
トランスフォーマーベースの検出器(DETR)は、訓練パラダイムの疎さと後処理操作の除去により、大きな注目を集めている。
知識蒸留(KD)は、普遍的な教師学習フレームワークを構築することで、巨大なモデルを圧縮するために用いられる。
論文 参考訳(メタデータ) (2022-11-17T13:35:11Z) - Self-Knowledge Distillation via Dropout [0.7883397954991659]
ドロップアウト(SD-Dropout)を用いた簡便かつ効果的な自己知識蒸留法を提案する。
我々の方法は、追加のトレーニング可能なモジュールを必要とせず、データに依存しず、単純な操作しか必要としない。
論文 参考訳(メタデータ) (2022-08-11T05:08:55Z) - ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self
On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。
本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
論文 参考訳(メタデータ) (2022-05-18T18:05:13Z) - Response-based Distillation for Incremental Object Detection [2.337183337110597]
従来の物体検出は漸進的な学習には不適当である。
新しいデータのみを用いて、よく訓練された検出モデルを直接微調整することで、破滅的な忘れを招きます。
本研究では,検出境界ボックスからの学習応答と分類予測に着目した完全応答に基づくインクリメンタル蒸留法を提案する。
論文 参考訳(メタデータ) (2021-10-26T08:07:55Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2021-08-17T07:44:27Z) - Distilling Image Classifiers in Object Detectors [81.63849985128527]
本研究では, 物体検出の事例について検討し, 標準検出器-検出器蒸留法に従わず, 分類器-検出器間知識伝達フレームワークを導入する。
特に,検知器の認識精度とローカライゼーション性能を両立させるため,分類教師を利用する手法を提案する。
論文 参考訳(メタデータ) (2021-06-09T16:50:10Z) - Learning Multiplicative Interactions with Bayesian Neural Networks for
Visual-Inertial Odometry [44.209301916028124]
本稿では,視覚慣性オドメトリー(VIO)のためのエンドツーエンドマルチモーダル学習手法を提案する。
センサ劣化シナリオに照らして、センサの相補性を利用するように設計されている。
論文 参考訳(メタデータ) (2020-07-15T11:39:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。