論文の概要: Adaptive Instance Distillation for Object Detection in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2201.11097v2
• Date: Wed, 22 Mar 2023 17:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 05:22:25.612040
• Title: Adaptive Instance Distillation for Object Detection in Autonomous Driving
• Title（参考訳）: 自律運転における物体検出のための適応インスタンス蒸留
• Authors: Qizhen Lan and Qing Tian
• Abstract要約: 本稿では,教師の知識を学生に選択的に付与し,知識蒸留の性能を向上させるための適応型インスタンス蒸留(AID)を提案する。 また,AIDは教師モデルの性能向上に有効であることが示された。
• 参考スコア（独自算出の注目度）: 3.236217153362305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, knowledge distillation (KD) has been widely used to derive efficient models. Through imitating a large teacher model, a lightweight student model can achieve comparable performance with more efficiency. However, most existing knowledge distillation methods are focused on classification tasks. Only a limited number of studies have applied knowledge distillation to object detection, especially in time-sensitive autonomous driving scenarios. In this paper, we propose Adaptive Instance Distillation (AID) to selectively impart teacher's knowledge to the student to improve the performance of knowledge distillation. Unlike previous KD methods that treat all instances equally, our AID can attentively adjust the distillation weights of instances based on the teacher model's prediction loss. We verified the effectiveness of our AID method through experiments on the KITTI and the COCO traffic datasets. The results show that our method improves the performance of state-of-the-art attention-guided and non-local distillation methods and achieves better distillation results on both single-stage and two-stage detectors. Compared to the baseline, our AID led to an average of 2.7% and 2.1% mAP increases for single-stage and two-stage detectors, respectively. Furthermore, our AID is also shown to be useful for self-distillation to improve the teacher model's performance.
• Abstract（参考訳）: 近年,効率的なモデルを導出するために知識蒸留(kd)が広く用いられている。 大きな教師モデルを模倣することで、軽量な生徒モデルはより効率良く同等のパフォーマンスを達成できる。 しかし,既存の知識蒸留法のほとんどは分類作業に重点を置いている。 特に時間に敏感な自動運転シナリオにおいて、物体検出に知識蒸留を応用した研究は限られている。 本稿では,教師の知識を学生に選択的に付与し,知識蒸留の性能を向上させるための適応型インスタンス蒸留(AID)を提案する。 全てのインスタンスを等しく扱う従来のKD法とは異なり、我々のAIDは教師モデルの予測損失に基づいて、インスタンスの蒸留重量を注意深く調整することができる。 提案手法の有効性を,KITTIおよびCOCOトラヒックデータセットを用いた実験により検証した。 その結果, 最先端の注意誘導蒸留法および非局所蒸留法の性能が向上し, 単段・二段検出法ともにより良好な蒸留結果が得られることがわかった。 ベースラインと比較すると,AIDは1段検出器と2段検出器で平均2.7%,2.1%のmAP上昇を示した。 さらに,AIDは,教師モデルの性能向上に有効であることが示された。

関連論文リスト

• Distillation-Free One-Step Diffusion for Real-World Image Super-Resolution [81.81748032199813]
  蒸留不要1ステップ拡散モデルを提案する。 具体的には、敵対的訓練に参加するためのノイズ認識識別器(NAD)を提案する。 我々は、エッジ対応disTS(EA-DISTS)による知覚損失を改善し、詳細な情報を生成するモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Domain-invariant Progressive Knowledge Distillation for UAV-based Object Detection [13.255646312416532]
  UAV-ODのための新しい知識蒸留フレームワークを提案する。 具体的には, プログレッシブ蒸留法により, 教師モデルと学生モデルの特徴ギャップを緩和する。 学生モデルの知識受容効率を高めるために,対象物に関連する特徴を抽出する新たな特徴アライメント法が提供される。
  論文  参考訳（メタデータ） (2024-08-21T08:05:03Z)
• Dual Knowledge Distillation for Efficient Sound Event Detection [20.236008919003083]
  音響信号中の特定の音とその時間的位置を認識するには,音事象検出(SED)が不可欠である。 本稿では,効率的なSEDシステムの開発を目的とした,二重知識蒸留と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T07:30:32Z)
• Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
  グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。 我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。 KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-07T21:09:09Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
  両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。 本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
  論文  参考訳（メタデータ） (2022-05-18T18:05:13Z)
• Localization Distillation for Object Detection [134.12664548771534]
  物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。 本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。 われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
  論文  参考訳（メタデータ） (2022-04-12T17:14:34Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Dual Correction Strategy for Ranking Distillation in Top-N Recommender System [22.37864671297929]
  本稿では,知識蒸留のための二重補正戦略について述べる。 DCDは、より効率的な方法で、教師モデルから生徒モデルにランキング情報を転送する。 実験の結果,提案手法は最先端のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T07:00:45Z)
• Prime-Aware Adaptive Distillation [27.66963552145635]
  知識蒸留は、強力な教師ネットワークからの知識を模倣することで、学生ネットワークの性能を向上させることを目的としている。 従来の有効なハードマイニング法は蒸留には適していない。 プライム・アウェア・アダプティブ蒸留(PAD)は、蒸留におけるプライマーサンプルを知覚し、それらの効果を適応的に強調する。
  論文  参考訳（メタデータ） (2020-08-04T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。