論文の概要: Sparse then Prune: Toward Efficient Vision Transformers

• arxiv url: http://arxiv.org/abs/2307.11988v1
• Date: Sat, 22 Jul 2023 05:43:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 18:40:06.229590
• Title: Sparse then Prune: Toward Efficient Vision Transformers
• Title（参考訳）: Sparse then Prune: 効率的な視覚変換器を目指して
• Authors: Yogi Prasetyo, Novanto Yudistira, Agus Wahyu Widodo
• Abstract要約: Vision Transformerは自然言語処理におけるTransformerモデルの成功に触発されたディープラーニングモデルである。 視力変換器にスパース正規化を適用すると、精度が0.12%向上する。 スパース正規化を伴うモデルにプルーニングを適用すると、さらによい結果が得られる。
• 参考スコア（独自算出の注目度）: 2.191505742658975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Vision Transformer architecture is a deep learning model inspired by the success of the Transformer model in Natural Language Processing. However, the self-attention mechanism, large number of parameters, and the requirement for a substantial amount of training data still make Vision Transformers computationally burdensome. In this research, we investigate the possibility of applying Sparse Regularization to Vision Transformers and the impact of Pruning, either after Sparse Regularization or without it, on the trade-off between performance and efficiency. To accomplish this, we apply Sparse Regularization and Pruning methods to the Vision Transformer architecture for image classification tasks on the CIFAR-10, CIFAR-100, and ImageNet-100 datasets. The training process for the Vision Transformer model consists of two parts: pre-training and fine-tuning. Pre-training utilizes ImageNet21K data, followed by fine-tuning for 20 epochs. The results show that when testing with CIFAR-100 and ImageNet-100 data, models with Sparse Regularization can increase accuracy by 0.12%. Furthermore, applying pruning to models with Sparse Regularization yields even better results. Specifically, it increases the average accuracy by 0.568% on CIFAR-10 data, 1.764% on CIFAR-100, and 0.256% on ImageNet-100 data compared to pruning models without Sparse Regularization. Code can be accesed here: https://github.com/yogiprsty/Sparse-ViT
• Abstract（参考訳）: vision transformer architectureは、自然言語処理におけるtransformerモデルの成功に触発されたディープラーニングモデルである。 しかし、自己照準機構やパラメータの多さ、大量のトレーニングデータの必要性などにより、視覚トランスフォーマーは計算量的に負担がかかる。 本研究では,視覚変換器にスパース正規化を適用する可能性や,スパース正規化後のプルーニングが性能と効率のトレードオフに与える影響について検討する。 そこで我々は,CIFAR-10,CIFAR-100,ImageNet-100データセット上の画像分類タスクに対して,スパース正規化とプルーニングをVision Transformerアーキテクチャに適用した。 視覚トランスフォーマーモデルのトレーニングプロセスは、事前トレーニングと微調整の2つの部分からなる。 事前トレーニングはimagenet21kデータを使用し、その後20エポックの微調整を行う。 CIFAR-100とImageNet-100のデータを用いてテストすると、スパース正規化モデルでは精度が0.12%向上することを示した。 さらに、スパース正規化モデルにプルーニングを適用すると、さらによい結果が得られる。 具体的には、スパース正規化のないプルーニングモデルと比較して、CIFAR-10データの平均精度を0.568%、CIFAR-100データで1.764%、ImageNet-100データで0.256%向上させる。 https://github.com/yogiprsty/Sparse-ViT

関連論文リスト

• Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction [33.57820997288788]
  画像上の自己回帰学習を粗い「次世代予測」として再定義する新世代パラダイムを提案する。 Visual AutoRegressive Modelingにより、GPTライクなARモデルは画像生成において拡散トランスフォーマーを超越する。 我々は、視覚生成と統合学習のためのAR/tokenモデルの探索を促進するために、すべてのモデルとコードをリリースした。
  論文  参考訳（メタデータ） (2024-04-03T17:59:53Z)
• Pre-training of Lightweight Vision Transformers on Small Datasets with Minimally Scaled Images [0.0]
  純視覚変換器(ViT)は、マスク付きオートエンコーダ技術を用いて、画像スケーリングを最小限にすることで、事前トレーニングにより優れた性能を達成することができる。 CIFAR-10とCIFAR-100データセットの実験では、パラメータが365万未満のViTモデルと、乗算累積(MAC)数が0.27G未満であった。
  論文  参考訳（メタデータ） (2024-02-06T06:41:24Z)
• Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness with Dataset Reinforcement [68.44100784364987]
  本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。 ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。 ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
  論文  参考訳（メタデータ） (2023-03-15T23:10:17Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Vector-quantized Image Modeling with Improved VQGAN [93.8443646643864]
  本稿では,自動回帰的に画像トークンを予測するためにトランスフォーマーを事前訓練するベクトル量子化画像モデリング手法を提案する。 まず,バニラVQGANに対して,アーキテクチャからコードブック学習までの複数の改良を提案する。 ImageNetで256x256解像度でトレーニングすると、175.1のインセプションスコア(IS)と4.17のFrechet Inception Distance(FID)を達成する。
  論文  参考訳（メタデータ） (2021-10-09T18:36:00Z)
• Scaling Vision Transformers [82.08465256393514]
  本研究では,Vision Transformerがエラー率,データ,計算の関係をスケールし,特徴付ける方法について検討する。 我々は20億のパラメータを持つViTモデルをトレーニングし、ImageNetの90.45%のトップ-1の精度で新たな最先端技術を実現する。 このモデルは、例えば、ImageNetで84.86%のトップ-1の精度を達成し、1クラスにつき10のサンプルしか持たないような、数ショット学習でもうまく機能する。
  論文  参考訳（メタデータ） (2021-06-08T17:47:39Z)
• Token Labeling: Training a 85.4% Top-1 Accuracy Vision Transformer with 56M Parameters on ImageNet [86.95679590801494]
  ImageNet分類におけるビジョントランスフォーマーの可能性を探るため、トレーニングテクニックのバッグを開発しています。 視覚変換器の構造を微調整し,トークンラベリングを導入することで,我々のモデルはCNNよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-22T04:43:06Z)
• An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale [112.94212299087653]
  ビジョントランスフォーマー(ViT)は、最先端の畳み込みネットワークと比較して優れた結果を得ると同時に、トレーニングする計算リソースを著しく少なくする。
  論文  参考訳（メタデータ） (2020-10-22T17:55:59Z)
• On the Generalization Effects of Linear Transformations in Data Augmentation [32.01435459892255]
  データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善するための強力な技術である。 我々は線形変換の族を研究し、過度にパラメータ化された線形回帰設定におけるリッジ推定器への影響について研究する。 本稿では,モデルが変換データに対してどの程度不確実であるかによって,変換空間を探索する拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。