論文の概要: Rethinking Pre-training and Self-training

• arxiv url: http://arxiv.org/abs/2006.06882v2
• Date: Sun, 15 Nov 2020 19:41:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:28:16.173013
• Title: Rethinking Pre-training and Self-training
• Title（参考訳）: プレトレーニングとセルフトレーニングの再考
• Authors: Barret Zoph, Golnaz Ghiasi, Tsung-Yi Lin, Yin Cui, Hanxiao Liu, Ekin D. Cubuk, Quoc V. Le
• Abstract要約: 我々は、同じ設定で追加データを利用する別の方法として自己学習を調査し、ImageNet事前学習と対比する。 本研究は, 自己学習の汎用性と柔軟性について, 3つの考察を加えて明らかにした。 例えば、COCOオブジェクト検出データセットでは、ラベル付きデータの5分の1を使用すると事前トレーニングのメリットがあり、ラベル付きデータのすべてを使用すると精度が低下します。
• 参考スコア（独自算出の注目度）: 105.27954735761678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training is a dominant paradigm in computer vision. For example, supervised ImageNet pre-training is commonly used to initialize the backbones of object detection and segmentation models. He et al., however, show a surprising result that ImageNet pre-training has limited impact on COCO object detection. Here we investigate self-training as another method to utilize additional data on the same setup and contrast it against ImageNet pre-training. Our study reveals the generality and flexibility of self-training with three additional insights: 1) stronger data augmentation and more labeled data further diminish the value of pre-training, 2) unlike pre-training, self-training is always helpful when using stronger data augmentation, in both low-data and high-data regimes, and 3) in the case that pre-training is helpful, self-training improves upon pre-training. For example, on the COCO object detection dataset, pre-training benefits when we use one fifth of the labeled data, and hurts accuracy when we use all labeled data. Self-training, on the other hand, shows positive improvements from +1.3 to +3.4AP across all dataset sizes. In other words, self-training works well exactly on the same setup that pre-training does not work (using ImageNet to help COCO). On the PASCAL segmentation dataset, which is a much smaller dataset than COCO, though pre-training does help significantly, self-training improves upon the pre-trained model. On COCO object detection, we achieve 54.3AP, an improvement of +1.5AP over the strongest SpineNet model. On PASCAL segmentation, we achieve 90.5 mIOU, an improvement of +1.5% mIOU over the previous state-of-the-art result by DeepLabv3+.
• Abstract（参考訳）: 事前学習はコンピュータビジョンにおいて支配的なパラダイムである。 例えば、教師付きImageNet事前トレーニングは、オブジェクト検出とセグメンテーションモデルのバックボーンの初期化に一般的に使用される。 しかし、彼は、ImageNet事前トレーニングがCOCOオブジェクト検出に限られた影響を与えるという驚くべき結果を示した。 本稿では、同じ設定で追加データを利用する別の方法として自己学習を調査し、ImageNet事前学習と対比する。 本研究は,自己学習の汎用性と柔軟性を,さらに3つの洞察で明らかにする。 1) 強化データとラベル付きデータにより事前学習の価値はさらに低下する。 2) 事前学習と異なり, 自己学習は低データと高データの両方において, より強固なデータ拡張を用いた場合, 常に有用である。 3)事前訓練が有効である場合は,自己訓練は事前訓練により改善される。 例えば、COCOオブジェクト検出データセットでは、ラベル付きデータの5分の1を使用すると事前トレーニングのメリットがあり、ラベル付きデータのすべてを使用すると精度が低下します。 一方、自己学習はすべてのデータセットサイズに対して+1.3から+3.4APに肯定的な改善を示す。 言い換えれば、自己学習は(イメージネットを使ってCOCOを助ける)事前トレーニングが機能しないのと同じセットアップでうまく機能する。 COCOよりもはるかに小さなデータセットであるPASCALセグメンテーションデータセットでは、事前トレーニングは、事前トレーニングモデルによって大幅に改善される。 COCOオブジェクト検出では、最強のSpineNetモデルに対して+1.5APの改善である54.3APを達成する。 PASCALセグメンテーションでは、DeepLabv3+による従来の最先端結果よりも+1.5%mIOUの改善となる90.5mIOUを達成する。

関連論文リスト

• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• The Role of Pre-training Data in Transfer Learning [20.768366728182997]
  プレトレーニングデータ分布が複数ショットおよびフル微調整性能に与える影響について検討する。 プレトレーニングされたデータソースの選択は、数ショットの転送には不可欠であることがわかったが、その役割は微調整のためにより多くのデータが利用可能になるにつれて減少する。
  論文  参考訳（メタデータ） (2023-02-27T09:10:08Z)
• Downstream Datasets Make Surprisingly Good Pretraining Corpora [39.77171117174906]
  本稿では,事前学習と微調整の両方に同じ(下流)トレーニングデータを用いる,自己事前学習に関する大規模研究を紹介する。 ELECTRAモデルとRoBERTaモデルと10の異なる下流分類データセットに対処する実験では,BookWikiコーパスで事前学習を行う自己学習のライバルが標準であることがわかった。 以上の結果から, 事前学習に起因する性能向上は, 主に事前学習対象自体が引き起こすものであり, 外部事前学習データの大量使用に起因しているとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-09-28T19:28:43Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Are Large-scale Datasets Necessary for Self-Supervised Pre-training? [29.49873710927313]
  対象のタスクデータのみを活用する自己指導型事前学習シナリオについて検討する。 本研究は,BEiTなどのデノイングオートエンコーダが,事前学習データの種類やサイズに対してより堅牢であることを示す。 COCOでは、COCOイメージのみを使用して事前トレーニングを行う場合、検出とインスタンスセグメンテーションのパフォーマンスは、同等の設定で教師付きImageNet事前トレーニングを上回る。
  論文  参考訳（メタデータ） (2021-12-20T18:41:32Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)
• Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection [86.0580214485104]
  本稿では,オブジェクト検出のための汎用的で効率的な事前学習パラダイムであるMontage事前学習を提案する。 Montage事前トレーニングは、ターゲット検出データセットのみを必要とするが、広く採用されているImageNet事前トレーニングと比較して、計算リソースは1/4しかない。 モンタージュ事前学習の効率と有効性は、MS-COCOデータセットの広範な実験によって検証される。
  論文  参考訳（メタデータ） (2020-04-25T16:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。