論文の概要: Adaptive Instance Distillation for Object Detection in Autonomous
Driving
- arxiv url: http://arxiv.org/abs/2201.11097v1
- Date: Wed, 26 Jan 2022 18:06:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 14:14:40.013138
- Title: Adaptive Instance Distillation for Object Detection in Autonomous
Driving
- Title（参考訳）: 自律運転における物体検出のための適応インスタンス蒸留
- Authors: Qizhen Lan and Qing Tian
- Abstract要約: 本稿では,教師から生徒に知識を選択的に付与し,知識蒸留の性能を向上させるための適応型インスタンス蒸留(AID)手法を提案する。
AIDは1段検出器と2段検出器でそれぞれ平均2.7%と2.05%のmAP上昇を示した。
また,AIDは教師モデルの性能向上に有効であることが示された。
- 参考スコア（独自算出の注目度）: 3.236217153362305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, knowledge distillation (KD) has been widely used as an
effective way to derive efficient models. Through imitating a large teacher
model, a lightweight student model can achieve comparable performance with more
efficiency. However, most existing knowledge distillation methods are focused
on classification tasks. Only a limited number of studies have applied
knowledge distillation to object detection, especially in time-sensitive
autonomous driving scenarios. We propose the Adaptive Instance Distillation
(AID) method to selectively impart knowledge from the teacher to the student
for improving the performance of knowledge distillation. Unlike previous KD
methods that treat all instances equally, our AID can attentively adjust the
distillation weights of instances based on the teacher model's prediction loss.
We verified the effectiveness of our AID method through experiments on the
KITTI and the COCO traffic datasets. The results show that our method improves
the performance of existing state-of-the-art attention-guided and non-local
distillation methods and achieves better distillation results on both
single-stage and two-stage detectors. Compared to the baseline, our AID led to
an average of 2.7% and 2.05% mAP increases for single-stage and two-stage
detectors, respectively. Furthermore, our AID is also shown to be useful for
self-distillation to improve the teacher model's performance.
- Abstract（参考訳）: 近年、知識蒸留(KD)は効率的なモデルを導出する有効な方法として広く用いられている。
大きな教師モデルを模倣することで、軽量な生徒モデルはより効率良く同等のパフォーマンスを達成できる。
しかし,既存の知識蒸留法のほとんどは分類作業に重点を置いている。
特に時間に敏感な自動運転シナリオにおいて、物体検出に知識蒸留を応用した研究は限られている。
本稿では,教師から生徒に知識を選択的に付与し,知識蒸留の性能を向上させるための適応型インスタンス蒸留法を提案する。
全てのインスタンスを等しく扱う従来のKD法とは異なり、我々のAIDは教師モデルの予測損失に基づいて、インスタンスの蒸留重量を注意深く調整することができる。
提案手法の有効性を,KITTIおよびCOCOトラヒックデータセットを用いた実験により検証した。
以上の結果から,本手法は既存の注目誘導型・非局所蒸留法の性能を向上し,単段・二段両検出器の蒸留結果の改善を図っている。
ベースラインと比較すると,AIDは1段検出器と2段検出器で平均2.7%,2.05%のmAP上昇を示した。
さらに,AIDは,教師モデルの性能向上に有効であることが示された。
関連論文リスト
- Distillation-Free One-Step Diffusion for Real-World Image Super-Resolution [81.81748032199813]
蒸留不要1ステップ拡散モデルを提案する。
具体的には、敵対的訓練に参加するためのノイズ認識識別器(NAD)を提案する。
我々は、エッジ対応disTS(EA-DISTS)による知覚損失を改善し、詳細な情報を生成するモデルの能力を向上させる。
論文 参考訳（メタデータ） (2024-10-05T16:41:36Z) - Domain-invariant Progressive Knowledge Distillation for UAV-based Object Detection [13.255646312416532]
UAV-ODのための新しい知識蒸留フレームワークを提案する。
具体的には, プログレッシブ蒸留法により, 教師モデルと学生モデルの特徴ギャップを緩和する。
学生モデルの知識受容効率を高めるために,対象物に関連する特徴を抽出する新たな特徴アライメント法が提供される。
論文 参考訳（メタデータ） (2024-08-21T08:05:03Z) - Dual Knowledge Distillation for Efficient Sound Event Detection [20.236008919003083]
音響信号中の特定の音とその時間的位置を認識するには,音事象検出(SED)が不可欠である。
本稿では,効率的なSEDシステムの開発を目的とした,二重知識蒸留と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T07:30:32Z) - Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-03-07T21:09:09Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳（メタデータ） (2022-11-27T05:14:03Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self
On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。
本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
論文 参考訳（メタデータ） (2022-05-18T18:05:13Z) - Localization Distillation for Object Detection [134.12664548771534]
物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。
本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。
われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
論文 参考訳（メタデータ） (2022-04-12T17:14:34Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳（メタデータ） (2022-03-14T15:02:13Z) - Dual Correction Strategy for Ranking Distillation in Top-N Recommender System [22.37864671297929]
本稿では,知識蒸留のための二重補正戦略について述べる。
DCDは、より効率的な方法で、教師モデルから生徒モデルにランキング情報を転送する。
実験の結果,提案手法は最先端のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-09-08T07:00:45Z) - Prime-Aware Adaptive Distillation [27.66963552145635]
知識蒸留は、強力な教師ネットワークからの知識を模倣することで、学生ネットワークの性能を向上させることを目的としている。
従来の有効なハードマイニング法は蒸留には適していない。
プライム・アウェア・アダプティブ蒸留(PAD)は、蒸留におけるプライマーサンプルを知覚し、それらの効果を適応的に強調する。
論文 参考訳（メタデータ） (2020-08-04T10:53:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。