Fugu-MT 論文翻訳(概要): SEPT: Towards Scalable and Efficient Visual Pre-Training

論文の概要: SEPT: Towards Scalable and Efficient Visual Pre-Training

arxiv url: http://arxiv.org/abs/2212.05473v1
Date: Sun, 11 Dec 2022 11:02:11 GMT
ステータス: 処理完了
システム内更新日: 2022-12-13 16:40:23.082292
Title: SEPT: Towards Scalable and Efficient Visual Pre-Training
Title（参考訳）: SEPT: スケーラブルで効率的なビジュアル事前トレーニングを目指す
Authors: Yiqi Lin, Huabin Zheng, Huaping Zhong, Jinjing Zhu, Weijia Li, Conghui He, Lin Wang
Abstract要約: 自己教師付き事前トレーニングは、ダウンストリームタスクのパフォーマンスを改善するために大規模なラベルなしデータを活用する大きな可能性を示している。タスク固有の自己教師型事前学習フレームワークを構築し,対象タスクに類似した分布を持つ未ラベルサンプルの事前学習が,大幅な性能向上をもたらすという単純な仮説に基づいて構築する。
参考スコア（独自算出の注目度）: 11.345844145289524
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently, the self-supervised pre-training paradigm has shown great potential in leveraging large-scale unlabeled data to improve downstream task performance. However, increasing the scale of unlabeled pre-training data in real-world scenarios requires prohibitive computational costs and faces the challenge of uncurated samples. To address these issues, we build a task-specific self-supervised pre-training framework from a data selection perspective based on a simple hypothesis that pre-training on the unlabeled samples with similar distribution to the target task can bring substantial performance gains. Buttressed by the hypothesis, we propose the first yet novel framework for Scalable and Efficient visual Pre-Training (SEPT) by introducing a retrieval pipeline for data selection. SEPT first leverage a self-supervised pre-trained model to extract the features of the entire unlabeled dataset for retrieval pipeline initialization. Then, for a specific target task, SEPT retrievals the most similar samples from the unlabeled dataset based on feature similarity for each target instance for pre-training. Finally, SEPT pre-trains the target model with the selected unlabeled samples in a self-supervised manner for target data finetuning. By decoupling the scale of pre-training and available upstream data for a target task, SEPT achieves high scalability of the upstream dataset and high efficiency of pre-training, resulting in high model architecture flexibility. Results on various downstream tasks demonstrate that SEPT can achieve competitive or even better performance compared with ImageNet pre-training while reducing the size of training samples by one magnitude without resorting to any extra annotations.
Abstract（参考訳）: 近年、自己教師型事前学習パラダイムは、下流タスク性能を改善するために大規模なラベルなしデータを活用する大きな可能性を示している。しかし、実世界のシナリオにおけるラベルなし事前学習データの規模を増やすには、計算コストの禁止が必要であり、未計算サンプルの課題に直面している。これらの課題に対処するため、データ選択の観点からタスク固有の自己教師型事前学習フレームワークを構築し、対象タスクに類似した分布を持つ未ラベルサンプルの事前学習が、大幅なパフォーマンス向上をもたらすという単純な仮説に基づく。本仮説では,データ選択のための検索パイプラインを導入することで,スケーラブルで効率的な視覚前訓練(SEPT)のための新しいフレームワークを提案する。 SEPTはまず、自己教師付き事前訓練モデルを利用して、検索パイプラインの初期化のためのラベルなしデータセット全体の特徴を抽出する。そして、特定のターゲットタスクに対して、SEPTはトレーニング前の各ターゲットインスタンスの特徴的類似性に基づいて、ラベルなしデータセットから最も類似したサンプルを検索する。最後に、SEPTは、ターゲットデータ微調整のために、選択されたラベル付きサンプルでターゲットモデルを事前訓練する。対象タスクに対する事前トレーニングと利用可能な上流データのスケールを分離することにより、SEPTは上流データセットの高スケーラビリティと事前トレーニングの高効率を実現し、モデルアーキテクチャの柔軟性を高める。様々なダウンストリームタスクの結果から、SEPTはImageNetの事前トレーニングと比較して競争力やパフォーマンスが向上し、余分なアノテーションを使わずにトレーニングサンプルのサイズを1倍に削減できることが示された。

関連論文リスト

Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。より少ないが慎重に選択されたデータはGNNモデルに入力される。実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
論文参考訳（メタデータ） (2023-11-02T07:09:59Z)
AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset [25.935496432142976]
知覚モデルが大規模なクラウドデータセットから学ぶことは、Autonomous Driving (AD)コミュニティの長期的なビジョンである。我々は、ポイントクラウド事前トレーニングタスクを半教師付き問題として定式化し、少数のラベル付きおよび大規模ラベルなしのポイントクラウドデータを活用する。我々は、異なるベースラインモデルの下で、nuScenesやKITTIを含む一連の下流認識ベンチマークにおいて、大幅な性能向上を達成する。
論文参考訳（メタデータ） (2023-06-01T12:32:52Z)
Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文参考訳（メタデータ） (2022-09-30T02:25:12Z)
Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文参考訳（メタデータ） (2021-11-24T06:18:32Z)
Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文参考訳（メタデータ） (2021-11-23T18:59:08Z)
Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
論文参考訳（メタデータ） (2020-11-20T06:16:15Z)
Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文参考訳（メタデータ） (2020-05-18T09:36:51Z)
Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection [86.0580214485104]
本稿では,オブジェクト検出のための汎用的で効率的な事前学習パラダイムであるMontage事前学習を提案する。 Montage事前トレーニングは、ターゲット検出データセットのみを必要とするが、広く採用されているImageNet事前トレーニングと比較して、計算リソースは1/4しかない。モンタージュ事前学習の効率と有効性は、MS-COCOデータセットの広範な実験によって検証される。
論文参考訳（メタデータ） (2020-04-25T16:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。