論文の概要: SimDETR: Simplifying self-supervised pretraining for DETR

• arxiv url: http://arxiv.org/abs/2307.15697v1
• Date: Fri, 28 Jul 2023 17:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 11:45:07.462849
• Title: SimDETR: Simplifying self-supervised pretraining for DETR
• Title（参考訳）: SimDETR: DETRのための自己教師型事前トレーニングの簡易化
• Authors: Ioannis Maniadis Metaxas, Adrian Bulat, Ioannis Patras, Brais Martinez, Georgios Tzimiropoulos
• Abstract要約: 本稿では,DETRを用いた物体検出のための簡単な事前学習フレームワークを提案する。 i)高レベルの特徴マップから派生したよりリッチでセマンティクスに基づく初期提案、(ii)クラスタリングによって生成されたオブジェクト擬似ラベルを用いた識別訓練、(iii)検出器が学習した改善されたオブジェクト提案を活用するための自己学習である。
• 参考スコア（独自算出の注目度）: 55.695020845564514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DETR-based object detectors have achieved remarkable performance but are sample-inefficient and exhibit slow convergence. Unsupervised pretraining has been found to be helpful to alleviate these impediments, allowing training with large amounts of unlabeled data to improve the detector's performance. However, existing methods have their own limitations, like keeping the detector's backbone frozen in order to avoid performance degradation and utilizing pretraining objectives misaligned with the downstream task. To overcome these limitations, we propose a simple pretraining framework for DETR-based detectors that consists of three simple yet key ingredients: (i) richer, semantics-based initial proposals derived from high-level feature maps, (ii) discriminative training using object pseudo-labels produced via clustering, (iii) self-training to take advantage of the improved object proposals learned by the detector. We report two main findings: (1) Our pretraining outperforms prior DETR pretraining works on both the full and low data regimes by significant margins. (2) We show we can pretrain DETR from scratch (including the backbone) directly on complex image datasets like COCO, paving the path for unsupervised representation learning directly using DETR.
• Abstract（参考訳）: DETRベースの物体検出器は優れた性能を達成しているが、サンプル非効率であり、収束が遅い。 教師なしの事前訓練はこれらの障害を軽減するのに役立ち、大量のラベルのないデータによるトレーニングによって検出器の性能を向上させることができる。 しかし、既存の方法には、性能低下を避けるために検出器のバックボーンを凍結しておくことや、下流タスクとミスマッチする事前学習目標を利用することなど、独自の制限がある。 これらの制限を克服するために,3つの単純かつ重要な要素からなるDETRベースの検出器のための簡単な事前学習フレームワークを提案する。 (i)高レベル特徴マップから派生した、よりリッチでセマンティクスに基づく初期提案 (II)クラスタリングによる擬似ラベルを用いた識別訓練 (iii) 検知器が学習した改良対象の提案を生かして自己学習すること。 1)DTR前訓練における事前訓練の成績は,全データと低データの両方において,有意な差がみられた。 2) COCOのような複雑な画像データセット上で,DeTRをスクラッチ(バックボーンを含む)から直接事前訓練し,DeTRを直接使用して教師なし表現学習を行う方法を示す。

関連論文リスト

• AlignDet: Aligning Pre-training and Fine-tuning in Object Detection [38.256555424079664]
  AlignDetは統合された事前トレーニングフレームワークで、様々な既存の検出器に適応して、相違を緩和することができる。 検出アルゴリズム、モデルバックボーン、データ設定、トレーニングスケジュールなど、さまざまなプロトコル間で大幅な改善が達成できる。
  論文  参考訳（メタデータ） (2023-07-20T17:55:14Z)
• Label-Efficient Object Detection via Region Proposal Network Pre-Training [58.50615557874024]
  地域提案ネットワーク(RPN)に効果的な事前学習を提供するための簡単な事前学習タスクを提案する。 RPN事前学習のないマルチステージ検出器と比較して,本手法はダウンストリームタスク性能を継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-11-16T16:28:18Z)
• A Novel Incremental Learning Driven Instance Segmentation Framework to Recognize Highly Cluttered Instances of the Contraband Items [45.39173572825739]
  本稿では,従来のエンコーダ・デコーダアーキテクチャを拡張して,インスタンス認識セグメンテーションを実現する手法を提案する。 新たな客観的関数は、以前取得した知識を保持することにより、各イテレーションにおけるネットワーク損失を最小限にする。 公開されている2つのX線データセット上での我々のフレームワークの徹底的な評価は、最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-01-07T17:40:37Z)
• Self-supervised Pretraining with Classification Labels for Temporal Activity Detection [54.366236719520565]
  時間的アクティビティ検出は、1フレーム当たりのアクティビティクラスを予測することを目的としている。 検出に必要なフレームレベルのアノテーションが高価なため、検出データセットの規模は限られている。 本研究では,分類ラベルを利用した自己教師付き事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:28Z)
• DETReg: Unsupervised Pretraining with Region Priors for Object Detection [103.93533951746612]
  DETRegは、オブジェクト検出ネットワーク全体を事前トレーニングする、新しい自己教師型メソッドである。 事前トレーニング中、DETRegはオブジェクトのローカライゼーションを予測し、教師なしのリージョン提案ジェネレータからのローカライゼーションにマッチする。 対応する機能埋め込みと、自己教師付きイメージエンコーダからの埋め込みを同時に調整する。
  論文  参考訳（メタデータ） (2021-06-08T17:39:14Z)
• Aligning Pretraining for Detection via Object-Level Contrastive Learning [57.845286545603415]
  画像レベルのコントラスト表現学習は、伝達学習の汎用モデルとして非常に有効であることが証明されている。 我々は、これは準最適である可能性があり、従って、自己教師付きプレテキストタスクと下流タスクのアライメントを促進する設計原則を提唱する。 Selective Object Contrastive Learning (SoCo) と呼ばれる本手法は,COCO検出における伝達性能の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-04T17:59:52Z)
• DAP: Detection-Aware Pre-training with Weak Supervision [37.336674323981285]
  本稿では,オブジェクト検出タスクに対する検出認識事前学習(DAP)アプローチを提案する。 分類データセットをクラスアクティベーションマップに基づく弱教師付きオブジェクトローカライズ手法により検出データセットに変換する。 VOCやCOCOなどの下流検出タスクにおいて,サンプル効率と収束速度の両面で,DAPが従来の事前学習よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-30T19:48:30Z)
• Open-set Short Utterance Forensic Speaker Verification using Teacher-Student Network with Explicit Inductive Bias [59.788358876316295]
  そこで本研究では,小規模の法定フィールドデータセット上での話者検証を改善するためのパイプラインソリューションを提案する。 大規模領域外データセットを活用することで,教師学習のための知識蒸留に基づく目的関数を提案する。 提案する目的関数は,短時間の発話における教師学生の学習性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-09-21T00:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。