論文の概要: Efficient Conditional Pre-training for Transfer Learning

• arxiv url: http://arxiv.org/abs/2011.10231v5
• Date: Thu, 18 Nov 2021 20:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 05:57:45.596800
• Title: Efficient Conditional Pre-training for Transfer Learning
• Title（参考訳）: 移動学習のための効率的な条件付き事前学習
• Authors: Shuvam Chakraborty, Burak Uzkent, Kumar Ayush, Kumar Tanmay, Evan Sheehan, Stefano Ermon
• Abstract要約: 本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
• 参考スコア（独自算出の注目度）: 71.01129334495553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Almost all the state-of-the-art neural networks for computer vision tasks are trained by (1) pre-training on a large-scale dataset and (2) finetuning on the target dataset. This strategy helps reduce dependence on the target dataset and improves convergence rate and generalization on the target task. Although pre-training on large-scale datasets is very useful, its foremost disadvantage is high training cost. To address this, we propose efficient filtering methods to select relevant subsets from the pre-training dataset. Additionally, we discover that lowering image resolutions in the pre-training step offers a great trade-off between cost and performance. We validate our techniques by pre-training on ImageNet in both the unsupervised and supervised settings and finetuning on a diverse collection of target datasets and tasks. Our proposed methods drastically reduce pre-training cost and provide strong performance boosts. Finally, we improve standard ImageNet pre-training by 1-3% by tuning available models on our subsets and pre-training on a dataset filtered from a larger scale dataset.
• Abstract（参考訳）: コンピュータビジョンタスクのための最先端ニューラルネットワークのほとんど全ては、(1)大規模データセットの事前トレーニングと(2)ターゲットデータセットの微調整によって訓練されている。 この戦略は、ターゲットデータセットへの依存を減らし、目標タスクの収束率と一般化を改善する。 大規模データセットでの事前トレーニングは非常に有用であるが、最大の欠点は高いトレーニングコストである。 そこで本研究では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 さらに,事前学習段階における画像解像度の低下は,コストと性能に大きなトレードオフをもたらすことがわかった。 我々は、教師なし設定と教師なし設定の両方でImageNetを事前トレーニングし、さまざまなターゲットデータセットとタスクのコレクションを微調整することで、我々の技術を検証する。 提案手法は,事前学習コストを大幅に削減し,高い性能向上を実現する。 最後に、我々のサブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。

関連論文リスト

• SCAN: Bootstrapping Contrastive Pre-training for Data Efficiency [10.555957282859]
  本稿では,新しい動的ブートストラップ・データセット・プルーニング手法を提案する。 データ準備の後にデータセットの突然変異操作を行い、どちらも反復的な更新と動的更新を行う。 大規模画像テキストペアデータセットの7つのCLIPモデルと,ImageNetデータセットの2つのMoCoモデルを個別に事前トレーニングし,合計16の事前トレーニングモデルを得た。
  論文  参考訳（メタデータ） (2024-11-14T01:53:17Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• The Role of Pre-training Data in Transfer Learning [20.768366728182997]
  プレトレーニングデータ分布が複数ショットおよびフル微調整性能に与える影響について検討する。 プレトレーニングされたデータソースの選択は、数ショットの転送には不可欠であることがわかったが、その役割は微調整のためにより多くのデータが利用可能になるにつれて減少する。
  論文  参考訳（メタデータ） (2023-02-27T09:10:08Z)
• SEPT: Towards Scalable and Efficient Visual Pre-Training [11.345844145289524]
  自己教師付き事前トレーニングは、ダウンストリームタスクのパフォーマンスを改善するために大規模なラベルなしデータを活用する大きな可能性を示している。 タスク固有の自己教師型事前学習フレームワークを構築し,対象タスクに類似した分布を持つ未ラベルサンプルの事前学習が,大幅な性能向上をもたらすという単純な仮説に基づいて構築する。
  論文  参考訳（メタデータ） (2022-12-11T11:02:11Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Are Large-scale Datasets Necessary for Self-Supervised Pre-training? [29.49873710927313]
  対象のタスクデータのみを活用する自己指導型事前学習シナリオについて検討する。 本研究は,BEiTなどのデノイングオートエンコーダが,事前学習データの種類やサイズに対してより堅牢であることを示す。 COCOでは、COCOイメージのみを使用して事前トレーニングを行う場合、検出とインスタンスセグメンテーションのパフォーマンスは、同等の設定で教師付きImageNet事前トレーニングを上回る。
  論文  参考訳（メタデータ） (2021-12-20T18:41:32Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Rethinking Pre-training and Self-training [105.27954735761678]
  我々は、同じ設定で追加データを利用する別の方法として自己学習を調査し、ImageNet事前学習と対比する。 本研究は, 自己学習の汎用性と柔軟性について, 3つの考察を加えて明らかにした。 例えば、COCOオブジェクト検出データセットでは、ラベル付きデータの5分の1を使用すると事前トレーニングのメリットがあり、ラベル付きデータのすべてを使用すると精度が低下します。
  論文  参考訳（メタデータ） (2020-06-11T23:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。