論文の概要: Task-Balanced Distillation for Object Detection

• arxiv url: http://arxiv.org/abs/2208.03006v1
• Date: Fri, 5 Aug 2022 06:43:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:42:32.608708
• Title: Task-Balanced Distillation for Object Detection
• Title（参考訳）: オブジェクト検出のためのタスクバランス蒸留
• Authors: Ruining Tang, Zhenyu Liu, Yangguang Li, Yiguo Song, Hui Liu, Qide Wang, Jing Shao, Guifang Duan, Jianrong Tan
• Abstract要約: ResNet-50のRetinaNetは41.0 mAPをベンチマークで達成し、最近のFGDとCOCOを上回っている。 分類タスクと回帰タスクのコントリビューションを柔軟にバランスさせることにより、新しいタスク分離型特徴蒸留(TFD)を提案する。
• 参考スコア（独自算出の注目度）: 18.939830805129787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mainstream object detectors are commonly constituted of two sub-tasks, including classification and regression tasks, implemented by two parallel heads. This classic design paradigm inevitably leads to inconsistent spatial distributions between classification score and localization quality (IOU). Therefore, this paper alleviates this misalignment in the view of knowledge distillation. First, we observe that the massive teacher achieves a higher proportion of harmonious predictions than the lightweight student. Based on this intriguing observation, a novel Harmony Score (HS) is devised to estimate the alignment of classification and regression qualities. HS models the relationship between two sub-tasks and is seen as prior knowledge to promote harmonious predictions for the student. Second, this spatial misalignment will result in inharmonious region selection when distilling features. To alleviate this problem, a novel Task-decoupled Feature Distillation (TFD) is proposed by flexibly balancing the contributions of classification and regression tasks. Eventually, HD and TFD constitute the proposed method, named Task-Balanced Distillation (TBD). Extensive experiments demonstrate the considerable potential and generalization of the proposed method. Specifically, when equipped with TBD, RetinaNet with ResNet-50 achieves 41.0 mAP under the COCO benchmark, outperforming the recent FGD and FRS.
• Abstract（参考訳）: メインストリームオブジェクト検出器は、2つの並列ヘッドによって実装された分類と回帰タスクを含む2つのサブタスクで構成される。 この古典的設計パラダイムは必然的に、分類スコアと局所化品質(IOU)の間に不整合な空間分布をもたらす。 そこで本稿では, 知識蒸留という観点からの誤用を緩和する。 まず,教師は軽量な生徒よりも高調波予測の比率が高いことを観察する。 この興味深い観察に基づいて,新しい調和スコア(hs)を考案し,分類と回帰特性のアライメントを推定した。 hsは2つのサブタスク間の関係をモデル化し、学生の調和した予測を促進するための事前知識と見なされる。 第二に、この空間的不一致は蒸留の特徴が不調和な領域選択をもたらす。 この問題を軽減するために, 分類と回帰タスクの寄与を柔軟にバランスさせることにより, 新規なタスク分離機能蒸留法(tfd)を提案する。 最終的に HD と TFD は Task-Balanced Distillation (TBD) と呼ばれる提案手法を構成する。 広範な実験により,提案手法のかなりの可能性と一般化が示された。 具体的には、TBDを装着すると、ResNet-50によるRetinaNetはCOCOベンチマークで41.0 mAPを獲得し、最近のFGDとFRSを上回っている。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection [19.099643719358692]
  AANDと呼ばれる単純な2段階産業異常検出フレームワークを提案する。 第1の異常増幅段階において,事前学習した教師エンコーダを前進させる新しい残留異常増幅(RAA)モジュールを提案する。 さらに, 学生デコーダを訓練するために, 逆蒸留パラダイムを用いて, 新たなハードナレッジ蒸留(HKD)の損失を発生させ, 正常なパターンの再構築を容易にする。
  論文  参考訳（メタデータ） (2024-05-03T13:00:22Z)
• Bridging Cross-task Protocol Inconsistency for Distillation in Dense Object Detection [19.07452370081663]
  本研究では,高密度物体検出に適したクロスタスク一貫したプロトコルを用いた新しい蒸留法を提案する。 分類蒸留では,教師モデルと学生モデルの両方の分類ロジットマップを複数の二分分類マップとして定式化し,各地図に二分分類蒸留損失を適用した。 提案手法は単純だが有効であり,既存の手法よりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-08-28T03:57:37Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
  知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。 制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-28T16:00:31Z)
• Mind the Gap in Distilling StyleGANs [100.58444291751015]
  StyleGANファミリは、非条件生成のためのGAN(Generative Adversarial Networks)として最も人気のあるものの一つである。 本稿では,StyleGAN-likeアーキテクチャの蒸留に関する総合的研究について述べる。
  論文  参考訳（メタデータ） (2022-08-18T14:18:29Z)
• SEA: Bridging the Gap Between One- and Two-stage Detector Distillation via SEmantic-aware Alignment [76.80165589520385]
  細粒度情報を抽象化する性質から,SEA (SEmantic-Aware Alignment) 蒸留法を命名した。 1段検出器と2段検出器の両方において、挑戦的な物体検出タスクにおいて、最先端の新たな結果が得られる。
  論文  参考訳（メタデータ） (2022-03-02T04:24:05Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。