論文の概要: DETRs with Collaborative Hybrid Assignments Training

• arxiv url: http://arxiv.org/abs/2211.12860v1
• Date: Tue, 22 Nov 2022 16:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 15:23:38.484778
• Title: DETRs with Collaborative Hybrid Assignments Training
• Title（参考訳）: 協調型ハイブリッドアサインメントトレーニングによるDETR
• Authors: Zhuofan Zong, Guanglu Song, Yu Liu
• Abstract要約: 我々は、より効率的で効果的なDETRベースの検出器を学習するために、Co-DETRという新しい協調型ハイブリット割り当てトレーニングスキームを提案する。 この新たなトレーニングスキームは、エンド・ツー・エンド検出器におけるエンコーダの学習能力を容易に向上させることができる。 提案手法の有効性を評価するため, 広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 11.563949886871713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we provide the observation that too few queries assigned as positive samples in DETR with one-to-one set matching leads to sparse supervisions on the encoder's output which considerably hurt the discriminative feature learning of the encoder and vice visa for attention learning in the decoder. To alleviate this, we present a novel collaborative hybrid assignments training scheme, namely Co-DETR, to learn more efficient and effective DETR-based detectors from versatile label assignment manners. This new training scheme can easily enhance the encoder's learning ability in end-to-end detectors by training the multiple parallel auxiliary heads supervised by one-to-many label assignments such as ATSS, FCOS, and Faster RCNN. In addition, we conduct extra customized positive queries by extracting the positive coordinates from these auxiliary heads to improve the training efficiency of positive samples in the decoder. In inference, these auxiliary heads are discarded and thus our method introduces no additional parameters and computational cost to the original detector while requiring no hand-crafted non-maximum suppression (NMS). We conduct extensive experiments to evaluate the effectiveness of the proposed approach on DETR variants, including DAB-DETR, Deformable-DETR, and H-Deformable-DETR. Specifically, we improve the basic Deformable-DETR by 5.8% in 12-epoch training and 3.2% in 36-epoch training. The state-of-the-art H-Deformable-DETR can still be improved from 57.9% to 58.7% on the MS COCO val. Surprisingly, incorporated with the large-scale backbone MixMIM-g with 1-Billion parameters, we achieve the 64.5% mAP on MS COCO test-dev, achieving superior performance with much fewer extra data sizes. Codes will be available at https://github.com/Sense-X/Co-DETR.
• Abstract（参考訳）: 本稿では、一対一のセットマッチングを持つdetrの正のサンプルとして割り当てられるクエリが少なすぎると、エンコーダの出力にばらばらな監督を生じさせ、エンコーダの識別的特徴学習と、デコーダにおける注意学習の副ビザを著しく損なうという観察を行う。 そこで本研究では,より効率的かつ効率的なDETRベースの検出器を多目的ラベル割り当て方式で学習するために,Co-DETRという新しい協調型ハイブリット割当て訓練手法を提案する。 この新しいトレーニング方式は、atss、fcos、高速rcnnなどの1対1ラベル割り当てによって管理される複数の並列補助ヘッドを訓練することにより、エンドツーエンド検出器におけるエンコーダの学習能力を高めることができる。 また,これらの補助ヘッドから正座標を抽出することで,デコーダ内の正のサンプルのトレーニング効率を向上させることで,さらにカスタマイズした正の問い合わせを行う。 そこで本手法では,手作り非最大抑制(NMS)を必要とせずに,元の検出器に余分なパラメータや計算コストを導入する。 我々は,DAB-DETR,Deformable-DETR,H-Deformable-DETRなど,提案手法の有効性を評価するための広範囲な実験を行った。 具体的には,12エポックトレーニングでは5.8%,36エポックトレーニングでは3.2%改善した。 最先端のH-Deformable-DETRは、MS COCO valで57.9%から58.7%に改善できる。 驚いたことに、1-Billionパラメータを持つ大規模バックボーンMixMIM-gを組み込んで、MS COCOテストデブ上で64.5%のmAPを実現し、データサイズをはるかに少なくして優れたパフォーマンスを実現した。 コードはhttps://github.com/Sense-X/Co-DETRで入手できる。

関連論文リスト

• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Cyclic-Bootstrap Labeling for Weakly Supervised Object Detection [134.05510658882278]
  Cyclic-Bootstrap Labeling (CBL) は、弱制御されたオブジェクト検出パイプラインである。 様々な改良モジュールを活用するために、重み付けされた指数移動平均戦略を使用する。 重み付きアンサンブル型教師ネットワークの出力を活用するために, クラス別ランキング蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-11T07:57:17Z)
• Query Encoder Distillation via Embedding Alignment is a Strong Baseline Method to Boost Dense Retriever Online Efficiency [4.254906060165999]
  2層のBERTベースのクエリエンコーダであっても、BEIRベンチマークでは完全なDEパフォーマンスの92.5%を維持可能であることを示す。 私たちの発見が、メソッドの複雑さとパフォーマンスの改善の間のトレードオフを再評価することを、コミュニティに促すことを願っています。
  論文  参考訳（メタデータ） (2023-06-05T06:53:55Z)
• Align-DETR: Improving DETR with Simple IoU-aware BCE loss [32.13866392998818]
  そこで本稿では, 誤り訂正問題を定量的に評価するために, ベストレグレッションされたサンプルをリコールする計量法を提案する。 提案した損失であるIA-BCEは、DeTRのトレーニングをガイドし、分類スコアとローカライゼーション精度の強い相関関係を構築する。 クエリのスパーシリティによって引き起こされるサンプル品質の劇的な低下を克服するために,プライマリサンプル重み付け機構を導入する。
  論文  参考訳（メタデータ） (2023-04-15T10:24:51Z)
• Detection Transformer with Stable Matching [48.963171068785435]
  もっとも重要な設計は, 肯定的な事例の分類スコアを監督するために, 位置測定値のみを使用することである。 本原理では,DTRの分類損失とマッチングコストに位置測定値を統合することで,簡易かつ効果的な2つの修正を提案する。 12エポックおよび24エポックのトレーニング設定の下でResNet-50バックボーンを用いてCOCO検出ベンチマークで50.4および51.5APを達成する。
  論文  参考訳（メタデータ） (2023-04-10T17:55:37Z)
• Exploring Content Relationships for Distilling Efficient GANs [69.86835014810714]
  本稿では,過剰パラメータ生成逆数ネットワーク(GAN)に対処するコンテンツ関係蒸留(CRD)を提案する。 従来のインスタンスレベルの蒸留とは対照的に,教師出力の内容を細粒度にスライスすることで,新しいGAN圧縮指向の知識を設計する。 提案した内容レベルの蒸留をベースとして,オンライン教師識別器を配置し,教師生成器と共同訓練した場合の更新を継続し,生徒生成器と共同訓練した場合の凍結を継続し,より良い対人訓練を行う。
  論文  参考訳（メタデータ） (2022-12-21T15:38:12Z)
• Teach-DETR: Better Training DETR with Teachers [43.37671158294093]
  Teach-DETRは、多用途の教師検出器からより優れたDETRベースの検出器を学習するためのトレーニングスキームである。 我々は,Swin-Largeバックボーン,4スケールの機能マップ,36エポックトレーニングスケジュールによる最先端検出器DINOの改良を行った。
  論文  参考訳（メタデータ） (2022-11-22T02:16:53Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Recurrent Glimpse-based Decoder for Detection with Transformer [85.64521612986456]
  本稿では,Recurrent Glimpse-based deoder (REGO)について紹介する。 特に、REGOは多段階のリカレント処理構造を用いて、DETRの注目が徐々に前景オブジェクトに焦点を合わせるのを助ける。 REGOは、異なるDETR検出器の性能を最大7%向上させる。
  論文  参考訳（メタデータ） (2021-12-09T00:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。