論文の概要: Dual Relation Knowledge Distillation for Object Detection

• arxiv url: http://arxiv.org/abs/2302.05637v1
• Date: Sat, 11 Feb 2023 09:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 19:18:58.918110
• Title: Dual Relation Knowledge Distillation for Object Detection
• Title（参考訳）: 物体検出のための二重関係知識蒸留
• Authors: Zhenliang Ni, Fukui Yang, Shengzhao Wen, Gang Zhang
• Abstract要約: 画素ワイド関係蒸留はグラフ空間に画素ワイドな特徴を埋め込み、グラフ畳み込みを適用してグローバルな画素関係を捉える。 インスタンス関係蒸留を設計し、異なるインスタンスの類似性を計算し、関係行列を得る。 ResNet50をベースとした高速R-CNNを38.4%から41.6%mAPに改善し、ResNet50をベースとしたRetinaNetを37.4%から40.3%mAPに改善した。
• 参考スコア（独自算出の注目度）: 7.027174952925931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation is an effective method for model compression. However, it is still a challenging topic to apply knowledge distillation to detection tasks. There are two key points resulting poor distillation performance for detection tasks. One is the serious imbalance between foreground and background features, another one is that small object lacks enough feature representation. To solve the above issues, we propose a new distillation method named dual relation knowledge distillation (DRKD), including pixel-wise relation distillation and instance-wise relation distillation.The pixel-wise relation distillation embeds pixel-wise features in the graph space and applies graph convolution to capture the global pixel relation. By distilling the global pixel relation, the student detector can learn the relation between foreground and background features, avoid the difficulty of distilling feature directly for feature imbalance issue.Besides, we find that instance-wise relation supplements valuable knowledge beyond independent features for small objects. Thus, the instance-wise relation distillation is designed, which calculates the similarity of different instances to obtain a relation matrix. More importantly, a relation filter module is designed to highlight valuable instance relations.The proposed dual relation knowledge distillation is general and can be easily applied for both one-stage and two-stage detectors. Our method achieves state-of-the-art performance, which improves Faster R-CNN based on ResNet50 from 38.4\% to 41.6\% mAP and improves RetinaNet based on ResNet50 from 37.4% to 40.3% mAP on COCO 2017.
• Abstract（参考訳）: 知識蒸留はモデル圧縮に有効な方法である。 しかし,検出課題に知識蒸留を適用することは依然として難しい課題である。 検出タスクの蒸留性能が劣る2つのキーポイントがある。 ひとつはフォアグラウンドとバックグラウンド機能の深刻な不均衡です。もうひとつは、小さなオブジェクトには十分な機能表現が欠けていることです。 上記の課題を解決するために, 画素ワイドな関係蒸留とインスタンスワイドな関係蒸留を含む, 二重関係知識蒸留(DRKD)と呼ばれる新しい蒸留法を提案し, 画素ワイドな関係蒸留はグラフ空間に画素ワイドな特徴を埋め込み, グラフ畳み込みを用いてグローバルな関係を捉える。 大域的画素関係を蒸留することで、学生検出器は前景と背景特徴の関係を学習でき、特徴不均衡問題を直接蒸留する難しさを避けることができる。 これにより、異なるインスタンスの類似度を計算して関係行列を得る、インスタンス回り関係蒸留が設計される。 より重要なことに、関係フィルタモジュールは価値あるインスタンス関係を強調するように設計されており、提案する二重関係知識蒸留は一般的であり、1段階と2段階の両方の検出器に容易に適用できる。 提案手法では,ResNet50に基づく高速R-CNNを38.4\%から41.6\%mAPに改善し,ResNet50に基づくRetinaNetを37.4%から40.3%mAPに改善した。

関連論文リスト

• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• Graph Relation Distillation for Efficient Biomedical Instance Segmentation [80.51124447333493]
  本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-01-12T04:41:23Z)
• Object-centric Cross-modal Feature Distillation for Event-based Object Detection [87.50272918262361]
  RGB検出器は、イベントデータのばらつきと視覚的詳細の欠如により、イベントベースの検出器よりも優れている。 これら2つのモード間の性能ギャップを縮めるための新しい知識蒸留手法を開発した。 対象中心蒸留により,イベントベースの学生物体検出装置の性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-11-09T16:33:08Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition [124.80263629921498]
  アーキテクチャ制約を同時に破りながら知識蒸留を入力レベルまで拡張するPixel Distillationを提案する。 このようなスキームは、ネットワークアーキテクチャと画像品質の両方をリソースの全体的な要求に応じて調整できるため、展開のための柔軟なコスト制御を実現することができる。
  論文  参考訳（メタデータ） (2021-12-17T14:31:40Z)
• Focal and Global Knowledge Distillation for Detectors [23.315649744061982]
  オブジェクト検出のためのFGD(Focal and Global Distillation)を提案する。 FGDは前景と背景を分離し、生徒は教師の批判的なピクセルやチャンネルに集中せざるを得ない。 提案手法は特徴写像上の損失のみを計算する必要があるため,FGDを様々な検出器に適用することができる。
  論文  参考訳（メタデータ） (2021-11-23T13:04:40Z)
• Distilling Object Detectors via Decoupled Features [69.62967325617632]
  より優れた学生検出器を学習するための,デカップリング機能(DeFeat)を用いた新しい蒸留アルゴリズムを提案する。 バックボーンの異なる様々な検出器を用いた実験により, 提案手法の破れが, 被写体検出の最先端蒸留法を上回ることができることを示した。
  論文  参考訳（メタデータ） (2021-03-26T13:58:49Z)
• General Instance Distillation for Object Detection [12.720908566642812]
  RetinaNet with ResNet-50は、データセット上のGIDによるmAPで39.1%を達成し、ベースライン36.2%を2.9%上回り、さらに38.1%APを持つResNet-101ベースの教師モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-03T11:41:26Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。