論文の概要: Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection
- arxiv url: http://arxiv.org/abs/2004.12178v2
- Date: Mon, 31 Aug 2020 09:14:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 22:02:29.671656
- Title: Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection
- Title（参考訳）: Cheaper Pre-training Lunch: 物体検出のための効率的なパラダイム
- Authors: Dongzhan Zhou, Xinchi Zhou, Hongwen Zhang, Shuai Yi, Wanli Ouyang
- Abstract要約: 本稿では,オブジェクト検出のための汎用的で効率的な事前学習パラダイムであるMontage事前学習を提案する。
Montage事前トレーニングは、ターゲット検出データセットのみを必要とするが、広く採用されているImageNet事前トレーニングと比較して、計算リソースは1/4しかない。
モンタージュ事前学習の効率と有効性は、MS-COCOデータセットの広範な実験によって検証される。
- 参考スコア（独自算出の注目度）: 86.0580214485104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a general and efficient pre-training paradigm,
Montage pre-training, for object detection. Montage pre-training needs only the
target detection dataset while taking only 1/4 computational resources compared
to the widely adopted ImageNet pre-training.To build such an efficient
paradigm, we reduce the potential redundancy by carefully extracting useful
samples from the original images, assembling samples in a Montage manner as
input, and using an ERF-adaptive dense classification strategy for model
pre-training. These designs include not only a new input pattern to improve the
spatial utilization but also a novel learning objective to expand the effective
receptive field of the pretrained model. The efficiency and effectiveness of
Montage pre-training are validated by extensive experiments on the MS-COCO
dataset, where the results indicate that the models using Montage pre-training
are able to achieve on-par or even better detection performances compared with
the ImageNet pre-training.
- Abstract（参考訳）: 本稿では,オブジェクト検出のための汎用的かつ効率的な事前学習パラダイムであるmontage pre-trainingを提案する。
モンテネージ事前トレーニングは,広く採用されているイメージネットプリトレーニングに比べて,1/4の計算資源しか消費せず,目標検出データセットのみを必要とする。このような効率的なパラダイムを構築するために,原画像から有用なサンプルを慎重に抽出し,モンタージュ方式でサンプルを組み立て,モデルの事前トレーニングにerf適応密分類戦略を用いて,潜在的な冗長性を低減する。
これらの設計には、空間利用を改善するための新しい入力パターンだけでなく、事前学習モデルの効果的な受容野を拡張するための新しい学習目的が含まれる。
モンタージュ事前トレーニングの効率と有効性は、MS-COCOデータセット上で広範な実験により検証され、結果から、モンタージュ事前トレーニングを用いたモデルが、ImageNet事前トレーニングと比較して、オンパーまたはより優れた検出性能を達成できることが示されている。
関連論文リスト
- Enhancing pretraining efficiency for medical image segmentation via transferability metrics [0.0]
医用画像のセグメンテーションタスクでは、ラベル付きトレーニングデータの不足が大きな課題となっている。
本稿では,事前学習したモデルが対象データをいかに頑健に表現できるかを計測する,対照的な学習に基づく新しい伝達可能性指標を提案する。
論文 参考訳（メタデータ） (2024-10-24T12:11:52Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - SEPT: Towards Scalable and Efficient Visual Pre-Training [11.345844145289524]
自己教師付き事前トレーニングは、ダウンストリームタスクのパフォーマンスを改善するために大規模なラベルなしデータを活用する大きな可能性を示している。
タスク固有の自己教師型事前学習フレームワークを構築し,対象タスクに類似した分布を持つ未ラベルサンプルの事前学習が,大幅な性能向上をもたらすという単純な仮説に基づいて構築する。
論文 参考訳（メタデータ） (2022-12-11T11:02:11Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - DAP: Detection-Aware Pre-training with Weak Supervision [37.336674323981285]
本稿では,オブジェクト検出タスクに対する検出認識事前学習(DAP)アプローチを提案する。
分類データセットをクラスアクティベーションマップに基づく弱教師付きオブジェクトローカライズ手法により検出データセットに変換する。
VOCやCOCOなどの下流検出タスクにおいて,サンプル効率と収束速度の両面で,DAPが従来の事前学習よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-30T19:48:30Z) - Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。
本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。
HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
論文 参考訳（メタデータ） (2021-03-23T17:37:51Z) - Efficient Visual Pretraining with Contrastive Detection [31.444554574326283]
そこで我々は,オブジェクトレベルの特徴を拡張的に識別するタスク表現を,新たな自己監督的,コントラスト的検出に導入する。
この目的は画像ごとに豊富な学習信号を抽出し、ImageNetからCOCOへの最先端の転送性能をもたらします。
特に、私たちの最強のImageNet-pretrainedモデルは、これまでで最大の自己教師型システムであるSEERと同等に機能します。
論文 参考訳（メタデータ） (2021-03-19T14:05:12Z) - Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。
我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。
我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
論文 参考訳（メタデータ） (2020-11-20T06:16:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。