論文の概要: Rethinking Training from Scratch for Object Detection

• arxiv url: http://arxiv.org/abs/2106.03112v1
• Date: Sun, 6 Jun 2021 13:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:06:34.308878
• Title: Rethinking Training from Scratch for Object Detection
• Title（参考訳）: 物体検出のためのスクラッチからのトレーニング再考
• Authors: Yang Li, Hong Zhang, Yu Zhang
• Abstract要約: ImageNet事前トレーニングは、オブジェクト検出のデファクト標準である。 我々は、事前学習と微調整に続く物体検出のための新しい訓練パイプラインを提案する。 我々はこれを直接検出事前訓練と呼び、また略して直接事前訓練を使用する。
• 参考スコア（独自算出の注目度）: 11.532675211994501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ImageNet pre-training initialization is the de-facto standard for object detection. He et al. found it is possible to train detector from scratch(random initialization) while needing a longer training schedule with proper normalization technique. In this paper, we explore to directly pre-training on target dataset for object detection. Under this situation, we discover that the widely adopted large resizing strategy e.g. resize image to (1333, 800) is important for fine-tuning but it's not necessary for pre-training. Specifically, we propose a new training pipeline for object detection that follows `pre-training and fine-tuning', utilizing low resolution images within target dataset to pre-training detector then load it to fine-tuning with high resolution images. With this strategy, we can use batch normalization(BN) with large bath size during pre-training, it's also memory efficient that we can apply it on machine with very limited GPU memory(11G). We call it direct detection pre-training, and also use direct pre-training for short. Experiment results show that direct pre-training accelerates the pre-training phase by more than 11x on COCO dataset while with even +1.8mAP compared to ImageNet pre-training. Besides, we found direct pre-training is also applicable to transformer based backbones e.g. Swin Transformer. Code will be available.
• Abstract（参考訳）: imagenet pre-training initializationはオブジェクト検出のデファクトスタンダードである。 など。 検知器をスクラッチ(ランダム初期化)からトレーニングすることは可能であり、適切な正規化技術でより長いトレーニングスケジュールを必要とする。 本稿では,オブジェクト検出のためのターゲットデータセットを直接事前学習する。 このような状況下では,大規模なリサイズ戦略が広く採用されている。 1333, 800)へのリサイズは微調整には重要ですが、事前トレーニングには必要ありません。 具体的には,対象データセット内の低分解能画像を利用して事前学習し,高分解能画像で微調整する,オブジェクト検出のための新しいトレーニングパイプラインを提案する。 この戦略では、事前トレーニング中に大きなバスサイズを持つバッチ正規化(BN)を使用できるが、非常に限られたGPUメモリ(11G)を持つマシンに適用できるメモリ効率も高い。 我々はこれを直接検出事前訓練と呼び、また略して直接事前訓練を使用する。 実験の結果、直接事前トレーニングはcocoデータセット上で11倍以上の事前トレーニングフェーズを加速し、一方、imagenetの事前トレーニングと比較すると+1.8mapであることがわかった。 さらに、直接事前トレーニングはトランスフォーマーベースのバックボーンにも適用できることがわかった。 Swin Transformer コードは利用可能だ。

関連論文リスト

• DEYO: DETR with YOLO for End-to-End Object Detection [0.0]
  純粋な畳み込み構造エンコーダであるDETRとYOLO(DEYO)を併用した初のリアルタイムエンドツーエンドオブジェクト検出モデルを提案する。 トレーニングの第一段階では、エンドツーエンド検出器の背骨と首を初期化するために、1対1のマッチング戦略で事前訓練された古典的な検出器を用いる。 トレーニングの第2段階では,エンド・ツー・エンド検出器の背骨と頸部を凍結し,デコーダのトレーニングをスクラッチから行う必要がある。
  論文  参考訳（メタデータ） (2024-02-26T07:48:19Z)
• The Role of Pre-training Data in Transfer Learning [20.768366728182997]
  プレトレーニングデータ分布が複数ショットおよびフル微調整性能に与える影響について検討する。 プレトレーニングされたデータソースの選択は、数ショットの転送には不可欠であることがわかったが、その役割は微調整のためにより多くのデータが利用可能になるにつれて減少する。
  論文  参考訳（メタデータ） (2023-02-27T09:10:08Z)
• Label-Free Synthetic Pretraining of Object Detectors [67.17371526567325]
  そこで本稿では,SOLID(Synthetic Optimization layout with Instance Detection)という新しい手法を提案する。 筆者らのSOLIDアプローチは,(1)シーンアレンジメントを最適化した非ラベルの3Dモデルを用いた合成画像の生成,(2)"インスタンス検出"タスクにおけるオブジェクト検出の事前学習,の2つの主要コンポーネントから構成される。 当社のアプローチでは,事前学習のためのセマンティックラベルは必要とせず,任意の3Dモデルを使用することが可能である。
  論文  参考訳（メタデータ） (2022-08-08T16:55:17Z)
• Are Large-scale Datasets Necessary for Self-Supervised Pre-training? [29.49873710927313]
  対象のタスクデータのみを活用する自己指導型事前学習シナリオについて検討する。 本研究は,BEiTなどのデノイングオートエンコーダが,事前学習データの種類やサイズに対してより堅牢であることを示す。 COCOでは、COCOイメージのみを使用して事前トレーニングを行う場合、検出とインスタンスセグメンテーションのパフォーマンスは、同等の設定で教師付きImageNet事前トレーニングを上回る。
  論文  参考訳（メタデータ） (2021-12-20T18:41:32Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)
• Rethinking Pre-training and Self-training [105.27954735761678]
  我々は、同じ設定で追加データを利用する別の方法として自己学習を調査し、ImageNet事前学習と対比する。 本研究は, 自己学習の汎用性と柔軟性について, 3つの考察を加えて明らかにした。 例えば、COCOオブジェクト検出データセットでは、ラベル付きデータの5分の1を使用すると事前トレーニングのメリットがあり、ラベル付きデータのすべてを使用すると精度が低下します。
  論文  参考訳（メタデータ） (2020-06-11T23:59:16Z)
• Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection [86.0580214485104]
  本稿では,オブジェクト検出のための汎用的で効率的な事前学習パラダイムであるMontage事前学習を提案する。 Montage事前トレーニングは、ターゲット検出データセットのみを必要とするが、広く採用されているImageNet事前トレーニングと比較して、計算リソースは1/4しかない。 モンタージュ事前学習の効率と有効性は、MS-COCOデータセットの広範な実験によって検証される。
  論文  参考訳（メタデータ） (2020-04-25T16:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。