論文の概要: EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones
- arxiv url: http://arxiv.org/abs/2211.09703v1
- Date: Thu, 17 Nov 2022 17:38:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 15:19:20.672710
- Title: EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones
- Title（参考訳）: EfficientTrain: ビジュアルバックボーンのトレーニングのための汎用的なカリキュラム学習
- Authors: Yulin Wang, Yang Yue, Rui Lu, Tianjiao Liu, Zhao Zhong, Shiji Song,
Gao Huang
- Abstract要約: 視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
私たちのアルゴリズムであるEfficientTrainは単純で汎用的で、驚くほど効果的です。
これにより、さまざまな人気モデルのトレーニング時間を、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5ドル以上削減できる。
- 参考スコア（独自算出の注目度）: 44.68812209725793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The superior performance of modern deep networks usually comes at the price
of a costly training procedure. In this paper, we present a novel curriculum
learning approach for the efficient training of visual backbones (e.g., vision
Transformers). The proposed method is inspired by the phenomenon that deep
networks mainly learn to recognize some 'easier-to-learn' discriminative
patterns within each example at earlier stages of training, e.g., the
lower-frequency components of images and the original information before data
augmentation. Driven by this observation, we propose a curriculum where the
model always leverages all the training data at each epoch, while the
curriculum starts with only exposing the 'easier-to-learn' patterns of each
example, and introduces gradually more difficult patterns. To implement this
idea, we 1) introduce a cropping operation in the Fourier spectrum of the
inputs, which enables the model to learn from only the lower-frequency
components efficiently, and 2) demonstrate that exposing the features of
original images amounts to adopting weaker data augmentation. Our resulting
algorithm, EfficientTrain, is simple, general, yet surprisingly effective. For
example, it reduces the training time of a wide variety of popular models
(e.g., ConvNeXts, DeiT, PVT, and Swin/CSWin Transformers) by more than
${1.5\times}$ on ImageNet-1K/22K without sacrificing the accuracy. It is
effective for self-supervised learning (i.e., MAE) as well. Code is available
at https://github.com/LeapLabTHU/EfficientTrain.
- Abstract（参考訳）: 現代のディープネットワークの優れた性能は、通常、高価なトレーニング手順の費用がかかる。
本稿では,視覚バックボーン(視覚変換器など)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
提案手法は,画像の低周波成分やデータ拡張前の元の情報など,訓練の初期段階において,各事例における「より易しい」識別パターンの認識を主に学習する現象に着想を得たものである。
この観察により,本カリキュラムでは,各エポックにおけるトレーニングデータを常に活用するカリキュラムを提案し,各例の「より簡単な」パターンのみを公開し,より難しいパターンを導入している。
このアイデアを実現するために
1)入力のフーリエスペクトルにトリッピング演算を導入することで、低周波成分のみから効率的に学習することができる。
2) 元の画像の特徴を露呈することで、より弱いデータ拡張を採用することができることを示す。
私たちのアルゴリズムであるEfficientTrainは単純で汎用的で、驚くほど効果的です。
例えば、様々な人気モデル(例えば、ConvNeXts、DeiT、PVT、Swin/CSWin Transformers)のトレーニング時間を、精度を犠牲にすることなく、${1.5\times}$以上削減する。
自己指導型学習(MAE)にも有効である。
コードはhttps://github.com/LeapLabTHU/EfficientTrainで入手できる。
関連論文リスト
- EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
訓練カリキュラムをソフトセレクション機能として再構築する。
自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。
結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
論文 参考訳（メタデータ） (2024-05-14T17:00:43Z) - One-Shot Image Restoration [0.0]
提案手法の適用性, 堅牢性, 計算効率を, 教師付き画像の劣化と超解像に応用できることを実験的に示す。
本結果は,学習モデルのサンプル効率,一般化,時間複雑性を大幅に改善したことを示す。
論文 参考訳（メタデータ） (2024-04-26T14:03:23Z) - Co-training $2^L$ Submodels for Visual Recognition [67.02999567435626]
サブモデルコトレーニングは、コトレーニング、自己蒸留、深さに関連する正規化手法である。
サブモデルのコトレーニングは,画像分類やセマンティックセグメンテーションなどの認識タスクのためのバックボーンのトレーニングに有効であることを示す。
論文 参考訳（メタデータ） (2022-12-09T14:38:09Z) - Learning Rate Curriculum [75.98230528486401]
ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。
LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。
Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
論文 参考訳（メタデータ） (2022-05-18T18:57:36Z) - Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。
自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。
本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
論文 参考訳（メタデータ） (2021-07-05T03:53:42Z) - Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。
我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-05T14:15:49Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。
自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。
我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
論文 参考訳（メタデータ） (2021-03-25T17:45:27Z) - Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。
私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。
CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
論文 参考訳（メタデータ） (2021-03-12T00:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。