論文の概要: Training a Vision Transformer from scratch in less than 24 hours with 1 GPU

• arxiv url: http://arxiv.org/abs/2211.05187v1
• Date: Wed, 9 Nov 2022 20:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-11 15:12:57.626355
• Title: Training a Vision Transformer from scratch in less than 24 hours with 1 GPU
• Title（参考訳）: 1GPUで24時間以内に視力変換器をスクラッチから訓練する
• Authors: Saghar Irandoust, Thibaut Durand, Yunduz Rakhmangulova, Wenjie Zi, Hossein Hajimirsadeghi
• Abstract要約: 限られたハードウェア(1GPU)と時間(24時間)のリソースで、スクラッチからViTモデルをトレーニングできるアルゴリズムの改良をいくつか導入する。 学習開始時に各画像から抽出したパッチ数を削減できる新しい画像サイズカリキュラム学習戦略を開発する。 最後に、ハードウェアと時間制約を追加することで、人気のあるImageNet1kベンチマークの新たな変種を提案する。
• 参考スコア（独自算出の注目度）: 10.517362955718799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have become central to recent advances in computer vision. However, training a vision Transformer (ViT) model from scratch can be resource intensive and time consuming. In this paper, we aim to explore approaches to reduce the training costs of ViT models. We introduce some algorithmic improvements to enable training a ViT model from scratch with limited hardware (1 GPU) and time (24 hours) resources. First, we propose an efficient approach to add locality to the ViT architecture. Second, we develop a new image size curriculum learning strategy, which allows to reduce the number of patches extracted from each image at the beginning of the training. Finally, we propose a new variant of the popular ImageNet1k benchmark by adding hardware and time constraints. We evaluate our contributions on this benchmark, and show they can significantly improve performances given the proposed training budget. We will share the code in https://github.com/BorealisAI/efficient-vit-training.
• Abstract（参考訳）: トランスフォーマーはコンピュータビジョンの最近の進歩の中心となっている。 しかし、視覚変換器(ViT)モデルをスクラッチからトレーニングすることはリソース集約的で時間を要する可能性がある。 本稿では,ViTモデルのトレーニングコストを削減するためのアプローチを提案する。 限られたハードウェア(1GPU)と時間(24時間)のリソースで、スクラッチからViTモデルをトレーニングできるアルゴリズムの改良を導入する。 まず,ViTアーキテクチャに局所性を加えるための効率的なアプローチを提案する。 第2に,トレーニング開始時に各画像から抽出されたパッチ数を削減するための,新しい画像サイズカリキュラム学習戦略を開発した。 最後に、ハードウェアと時間制約を追加することで、人気のあるImageNet1kベンチマークの新たな変種を提案する。 このベンチマークに対するコントリビューションを評価し、提案したトレーニング予算から、パフォーマンスを大幅に改善できることを示す。 コードはhttps://github.com/borealisai/ efficient-vit-trainingで共有します。

関連論文リスト

• Local Masking Meets Progressive Freezing: Crafting Efficient Vision Transformers for Self-Supervised Learning [0.0]
  視覚変換器(ViT)のための自己教師型学習への革新的アプローチを提案する。 本手法は, ViTにおける初期層トレーニングの効率化と高速化に重点を置いている。 提案手法は,初期層における効率的な学習を促進する,新しいマルチスケール再構築プロセスを採用する。
  論文  参考訳（メタデータ） (2023-12-02T11:10:09Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Rethinking Hierarchicies in Pre-trained Plain Vision Transformer [76.35955924137986]
  マスク付き画像モデリング(MIM)による自己教師付き事前学習型視覚変換器(ViT)は非常に効果的であることが証明されている。 カスタマイズされたアルゴリズムは、平易なViTのためにバニラと単純なMAEを使用する代わりに、例えばGreenMIMのような階層的なViTのために慎重に設計されるべきである。 本稿では,自己指導型事前学習から階層型アーキテクチャ設計を遠ざける新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:19:23Z)
• DeiT III: Revenge of the ViT [56.46810490275699]
  Vision Transformer (ViT) は、複数のコンピュータビジョンタスクを処理可能なシンプルなニューラルネットワークアーキテクチャである。 最近の研究によると、ViTsはBeiTのようなBerTライクな事前訓練の恩恵を受けている。
  論文  参考訳（メタデータ） (2022-04-14T17:13:44Z)
• Automated Progressive Learning for Efficient Training of Vision Transformers [125.22744987949227]
  ビジョントランスフォーマー(ViT)は、コンピュータパワーに対する大胆な欲求を持ち、ViTの効率的なトレーニング方法を開発するために緊急に必要となる。 プログレッシブラーニング(Progressive Learning)は、モデルキャパシティがトレーニング中に徐々に成長するトレーニングスキームである。 本稿では,先進的な学習をカスタマイズし,自動化することで,ViTの効率的な訓練に向けて実践的な一歩を踏み出した。
  論文  参考訳（メタデータ） (2022-03-28T05:37:08Z)
• Auto-scaling Vision Transformers without Training [84.34662535276898]
  本研究では,視覚変換器(ViT)の自動スケーリングフレームワークAs-ViTを提案する。 As-ViTは、ViTを効率的かつ原則的に自動的に発見し、スケールアップする。 As-ViTは統合されたフレームワークとして、分類と検出において高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-02-24T06:30:55Z)
• BEiT: BERT Pre-Training of Image Transformers [43.704968112586876]
  本稿では,画像変換器の双方向表現を表す自己教師型視覚表現モデルBEiTを紹介する。 具体的には、各画像には事前トレーニング、すなわち画像パッチと視覚トークンの2つのビューがある。 まず最初にオリジナル画像を視覚トークンに"トークン"します。次にランダムに画像パッチをマスクして、バックボーントランスフォーマーに入力します。 事前学習の目的は、破損した画像パッチに基づいて元の視覚トークンを復元することである。
  論文  参考訳（メタデータ） (2021-06-15T16:02:37Z)
• Self-Supervised Learning with Swin Transformers [24.956637957269926]
  ビジョントランスフォーマーをバックボーンアーキテクチャとして,MoBYと呼ばれる自己監視型学習アプローチを提案する。 このアプローチには基本的に新しい発明がなく、MoCo v2とBYOLを組み合わせている。 パフォーマンスは、DeiTをバックボーンとして採用しているMoCo v3とDINOの最近の作品よりもわずかに優れていますが、はるかに軽いトリックがあります。
  論文  参考訳（メタデータ） (2021-05-10T17:59:45Z)
• Pre-Trained Image Processing Transformer [95.93031793337613]
  我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。 本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。 IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
  論文  参考訳（メタデータ） (2020-12-01T09:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。