論文の概要: Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation

• arxiv url: http://arxiv.org/abs/2209.09841v3
• Date: Wed, 21 Feb 2024 15:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 22:00:51.009658
• Title: Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation
• Title（参考訳）: データ拡張による物体検出のための不整合知識蒸留法の検討
• Authors: Jiawei Liang, Siyuan Liang, Aishan Liu, Ke Ma, Jingzhi Li, Xiaochun Cao
• Abstract要約: 物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
• 参考スコア（独自算出の注目度）: 66.25738680429463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) for object detection aims to train a compact detector by transferring knowledge from a teacher model. Since the teacher model perceives data in a way different from humans, existing KD methods only distill knowledge that is consistent with labels annotated by human expert while neglecting knowledge that is not consistent with human perception, which results in insufficient distillation and sub-optimal performance. In this paper, we propose inconsistent knowledge distillation (IKD), which aims to distill knowledge inherent in the teacher model's counter-intuitive perceptions. We start by considering the teacher model's counter-intuitive perceptions of frequency and non-robust features. Unlike previous works that exploit fine-grained features or introduce additional regularizations, we extract inconsistent knowledge by providing diverse input using data augmentation. Specifically, we propose a sample-specific data augmentation to transfer the teacher model's ability in capturing distinct frequency components and suggest an adversarial feature augmentation to extract the teacher model's perceptions of non-robust features in the data. Extensive experiments demonstrate the effectiveness of our method which outperforms state-of-the-art KD baselines on one-stage, two-stage and anchor-free object detectors (at most +1.0 mAP). Our codes will be made available at \url{https://github.com/JWLiang007/IKD.git}.
• Abstract（参考訳）: 物体検出のための知識蒸留(kd)は、教師モデルから知識を移し、コンパクトな検出器を訓練することを目的としている。 教師モデルは、人間とは異なる方法でデータを知覚するため、既存のKD法では、人間の知覚と一致しない知識を無視しながら、人間の専門家によって注釈付けされたラベルと整合した知識のみを蒸留する。 本稿では,教師モデルの直観に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(ikd)を提案する。 まず,教師モデルの周波数特徴と非ロバスト特徴の直観的認識について考察する。 細かな特徴を生かしたり、追加の正規化を導入する以前の作品とは異なり、データ拡張を用いて多様な入力を提供することで一貫性のない知識を抽出する。 具体的には,教師モデルの異なる周波数成分を捉える能力を伝達するサンプル特異的データ拡張法を提案し,教師モデルの非ロバスト特徴に対する知覚を抽出するための逆特徴拡張法を提案する。 大規模実験により, 1段, 2段, アンカーフリーの物体検出器(多くは1.0 mAP)において, 最先端KDベースラインを上回る性能を示した。 我々のコードは \url{https://github.com/JWLiang007/IKD.git} で利用可能になります。

関連論文リスト

• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Hint-dynamic Knowledge Distillation [30.40008256306688]
  HKDと呼ばれるHint-dynamic Knowledge Distillationは、動的スキームで教師のヒントから知識を抽出する。 メタウェイトネットワークを導入し、知識ヒントに関するインスタンス単位の重み係数を生成する。 CIFAR-100とTiny-ImageNetの標準ベンチマークの実験では、提案したHKDが知識蒸留タスクの効果を高めることが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:03:53Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation [34.441349114336994]
  本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。 RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。 PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
  論文  参考訳（メタデータ） (2021-12-09T11:19:15Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Role-Wise Data Augmentation for Knowledge Distillation [48.115719640111394]
  知識蒸留(KD)は、ある機械学習モデルから学んだ知識を別の機械学習モデルに転送する一般的な方法である。 我々は、知識蒸留を促進するために、異なる役割を持つデータ増強剤を設計する。 特別に調整されたデータポイントが、教師の知識をより効果的に生徒に示せることを実証的に見出した。
  論文  参考訳（メタデータ） (2020-04-19T14:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。