論文の概要: Rethinking Data Augmentation in Knowledge Distillation for Object Detection

• arxiv url: http://arxiv.org/abs/2209.09841v1
• Date: Tue, 20 Sep 2022 16:36:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 18:45:09.417622
• Title: Rethinking Data Augmentation in Knowledge Distillation for Object Detection
• Title（参考訳）: 物体検出のための知識蒸留におけるデータ拡張の再考
• Authors: Jiawei Liang, Siyuan Liang, Aishan Liu, Mingli Zhu, Danni Yuan, Chenye Xu, Xiaochun Cao
• Abstract要約: 知識蒸留(KD)は、AI知識(教師検出器)と人間の知識(人間専門家)の両方の監督の下で、コンパクトな物体検出器を訓練するオブジェクト検出の有効性を示した。 既存の研究は、AI知識と人間の知識を一貫して扱い、学習中に均一なデータ拡張戦略を採用する。 本稿では,これらの問題に対処するために,サンプル特異的なデータ拡張と対角的特徴増強を提案する。
• 参考スコア（独自算出の注目度）: 59.550698131523276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) has shown its effectiveness for object detection, where it trains a compact object detector under the supervision of both AI knowledge (teacher detector) and human knowledge (human expert). However, existing studies treat the AI knowledge and human knowledge consistently and adopt a uniform data augmentation strategy during learning, which would lead to the biased learning of multi-scale objects and insufficient learning for the teacher detector causing unsatisfactory distillation performance. To tackle these problems, we propose the sample-specific data augmentation and adversarial feature augmentation. Firstly, to mitigate the impact incurred by multi-scale objects, we propose an adaptive data augmentation based on our observations from the Fourier perspective. Secondly, we propose a feature augmentation method based on adversarial examples for better mimicking AI knowledge to make up for the insufficient information mining of the teacher detector. Furthermore, our proposed method is unified and easily extended to other KD methods. Extensive experiments demonstrate the effectiveness of our framework and improve the performance of state-of-the-art methods in one-stage and two-stage detectors, bringing at most 0.5 mAP gains.
• Abstract（参考訳）: 知識蒸留(KD)は、AI知識(教師検出器)と人間の知識(人間専門家)の両方の監督の下で、コンパクトな物体検出器を訓練する。 しかし、既存の研究では、AIの知識と人間の知識を一貫して扱い、学習中に均一なデータ拡張戦略を採用することで、マルチスケールオブジェクトのバイアス学習と、不満足な蒸留性能を引き起こす教師検出のための不十分な学習につながる。 これらの問題に対処するため,サンプル固有のデータ拡張と対角的特徴増強を提案する。 まず,マルチスケールオブジェクトによる影響を軽減するために,フーリエの観点からの観測に基づく適応的データ拡張を提案する。 第2に,教師検出器の情報マイニングの不十分さを補うために,AI知識を模倣するための逆例に基づく機能拡張手法を提案する。 さらに,提案手法は統一され,他のKD法にも容易に拡張できる。 広範な実験により,1段階および2段階の検出器において,フレームワークの有効性を実証し,最先端の手法の性能を改善した。

関連論文リスト

• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Hint-dynamic Knowledge Distillation [30.40008256306688]
  HKDと呼ばれるHint-dynamic Knowledge Distillationは、動的スキームで教師のヒントから知識を抽出する。 メタウェイトネットワークを導入し、知識ヒントに関するインスタンス単位の重み係数を生成する。 CIFAR-100とTiny-ImageNetの標準ベンチマークの実験では、提案したHKDが知識蒸留タスクの効果を高めることが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:03:53Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation [34.441349114336994]
  本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。 RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。 PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
  論文  参考訳（メタデータ） (2021-12-09T11:19:15Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Role-Wise Data Augmentation for Knowledge Distillation [48.115719640111394]
  知識蒸留(KD)は、ある機械学習モデルから学んだ知識を別の機械学習モデルに転送する一般的な方法である。 我々は、知識蒸留を促進するために、異なる役割を持つデータ増強剤を設計する。 特別に調整されたデータポイントが、教師の知識をより効果的に生徒に示せることを実証的に見出した。
  論文  参考訳（メタデータ） (2020-04-19T14:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。