論文の概要: EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones

• arxiv url: http://arxiv.org/abs/2211.09703v3
• Date: Wed, 16 Aug 2023 15:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 17:40:58.527669
• Title: EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones
• Title（参考訳）: EfficientTrain: ビジュアルバックボーンのトレーニングのための汎用的なカリキュラム学習
• Authors: Yulin Wang, Yang Yue, Rui Lu, Tianjiao Liu, Zhao Zhong, Shiji Song, Gao Huang
• Abstract要約: 本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
• 参考スコア（独自算出の注目度）: 80.662250618795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The superior performance of modern deep networks usually comes with a costly training procedure. This paper presents a new curriculum learning approach for the efficient training of visual backbones (e.g., vision Transformers). Our work is inspired by the inherent learning dynamics of deep networks: we experimentally show that at an earlier training stage, the model mainly learns to recognize some 'easier-to-learn' discriminative patterns within each example, e.g., the lower-frequency components of images and the original information before data augmentation. Driven by this phenomenon, we propose a curriculum where the model always leverages all the training data at each epoch, while the curriculum starts with only exposing the 'easier-to-learn' patterns of each example, and introduces gradually more difficult patterns. To implement this idea, we 1) introduce a cropping operation in the Fourier spectrum of the inputs, which enables the model to learn from only the lower-frequency components efficiently, 2) demonstrate that exposing the features of original images amounts to adopting weaker data augmentation, and 3) integrate 1) and 2) and design a curriculum learning schedule with a greedy-search algorithm. The resulting approach, EfficientTrain, is simple, general, yet surprisingly effective. As an off-the-shelf method, it reduces the wall-time training cost of a wide variety of popular models (e.g., ResNet, ConvNeXt, DeiT, PVT, Swin, and CSWin) by >1.5x on ImageNet-1K/22K without sacrificing accuracy. It is also effective for self-supervised learning (e.g., MAE). Code is available at https://github.com/LeapLabTHU/EfficientTrain.
• Abstract（参考訳）: 現代のディープネットワークの優れたパフォーマンスは通常、高価なトレーニング手順が伴う。 本稿では視覚バックボーン(視覚変換器など)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 我々の研究は、深層ネットワークの固有学習ダイナミクスに着想を得ている:我々は、初期のトレーニングステージで、このモデルが、画像の低周波成分やデータ拡張前の元の情報など、各例内の"より分かりやすい"識別パターンを認識することを主に学んだことを実験的に示します。 この現象によって、モデルは常に各エポックでのトレーニングデータを活用し、カリキュラムは各例の「より簡単な」パターンのみを公開することから始まり、徐々に難しいパターンを導入するカリキュラムを提案する。 このアイデアを実現するために 1)入力のフーリエスペクトルにトリッピング演算を導入することにより、モデルが低周波成分のみから効率的に学習することができる。 2) オリジナル画像の特徴を明らかにすることは、より弱いデータ拡張を採用することにつながることを実証し、 3)統合 1)と 2) 欲求探索アルゴリズムを用いてカリキュラム学習スケジュールを設計する。 結果として得られたアプローチであるEfficientTrainは単純で汎用的だが驚くほど効果的だ。 市販の方法では、imagenet-1k/22k上で、さまざまなポピュラーモデル(resnet、convnext、deit、pvt、swain、cswinなど)の壁時間トレーニングコストを1.5倍に削減できる。 また、自己指導型学習(MAEなど)にも有効である。 コードはhttps://github.com/LeapLabTHU/EfficientTrainで入手できる。

関連論文リスト

• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• One-Shot Image Restoration [0.0]
  提案手法の適用性, 堅牢性, 計算効率を, 教師付き画像の劣化と超解像に応用できることを実験的に示す。 本結果は,学習モデルのサンプル効率,一般化,時間複雑性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2024-04-26T14:03:23Z)
• Co-training $2^L$ Submodels for Visual Recognition [67.02999567435626]
  サブモデルコトレーニングは、コトレーニング、自己蒸留、深さに関連する正規化手法である。 サブモデルのコトレーニングは,画像分類やセマンティックセグメンテーションなどの認識タスクのためのバックボーンのトレーニングに有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-09T14:38:09Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
  自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。 自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。 本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-07-05T03:53:42Z)
• Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
  本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。 我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-05T14:15:49Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
  連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。 自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。 我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
  論文  参考訳（メタデータ） (2021-03-25T17:45:27Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。