論文の概要: LPViT: Low-Power Semi-structured Pruning for Vision Transformers

• arxiv url: http://arxiv.org/abs/2407.02068v2
• Date: Sat, 6 Jul 2024 05:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 10:41:17.934962
• Title: LPViT: Low-Power Semi-structured Pruning for Vision Transformers
• Title（参考訳）: LPViT:ビジョントランス用低消費電力半構造化プルーニング
• Authors: Kaixin Xu, Zhe Wang, Chunyun Chen, Xue Geng, Jie Lin, Xulei Yang, Min Wu, Xiaoli Li, Weisi Lin,
• Abstract要約: 画像解析タスクのための畳み込みニューラルネットワークの代替手段として、ビジョントランスフォーマー(ViT)が登場した。 ViTの重大な欠点の1つは、リソース集約性であり、メモリフットプリント、複雑性、消費電力が増加することである。 我々は,ViTの資源集約的な問題に対処するため,新しいブロック構造プルーニングを導入し,精度とハードウェアアクセラレーションのバランスのとれたトレードオフを提供する。
• 参考スコア（独自算出の注目度）: 42.91130720962956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision transformers have emerged as a promising alternative to convolutional neural networks for various image analysis tasks, offering comparable or superior performance. However, one significant drawback of ViTs is their resource-intensive nature, leading to increased memory footprint, computation complexity, and power consumption. To democratize this high-performance technology and make it more environmentally friendly, it is essential to compress ViT models, reducing their resource requirements while maintaining high performance. In this paper, we introduce a new block-structured pruning to address the resource-intensive issue for ViTs, offering a balanced trade-off between accuracy and hardware acceleration. Unlike unstructured pruning or channel-wise structured pruning, block pruning leverages the block-wise structure of linear layers, resulting in more efficient matrix multiplications. To optimize this pruning scheme, our paper proposes a novel hardware-aware learning objective that simultaneously maximizes speedup and minimizes power consumption during inference, tailored to the block sparsity structure. This objective eliminates the need for empirical look-up tables and focuses solely on reducing parametrized layer connections. Moreover, our paper provides a lightweight algorithm to achieve post-training pruning for ViTs, utilizing second-order Taylor approximation and empirical optimization to solve the proposed hardware-aware objective. Extensive experiments on ImageNet are conducted across various ViT architectures, including DeiT-B and DeiT-S, demonstrating competitive performance with other pruning methods and achieving a remarkable balance between accuracy preservation and power savings. Especially, we achieve up to 3.93x and 1.79x speedups on dedicated hardware and GPUs respectively for DeiT-B, and also observe an inference power reduction by 1.4x on real-world GPUs.
• Abstract（参考訳）: ビジョントランスフォーマーは、様々な画像解析タスクのための畳み込みニューラルネットワークに代わる有望な代替として登場し、同等または優れたパフォーマンスを提供している。 しかし、ViTの重大な欠点は、そのリソース集約性であり、メモリフットプリントの増加、計算の複雑さ、電力消費につながる。 この高性能技術を民主化し、環境に優しいものにするためには、ViTモデルを圧縮し、高い性能を維持しながらリソース要求を減らすことが不可欠である。 本稿では,ViTの資源集約的な問題に対処するブロック構造化プルーニングを導入し,精度とハードウェアアクセラレーションのバランスのとれたトレードオフを提供する。 非構造化プルーニングやチャネルワイドプルーニングとは異なり、ブロックプルーニングは線形層のブロックワイド構造を利用しており、より効率的な行列乗算をもたらす。 このプルーニング方式を最適化するために,ブロック間隔構造に合わせて,高速化と推論時の消費電力の最小化を同時に行う,ハードウェア対応学習目標を提案する。 この目的は、経験的なルックアップテーブルの必要性を排除し、パラメタライズされたレイヤ接続の削減にのみ焦点をあてる。 さらに,本論文では,2次テイラー近似と経験的最適化を用いて,ViTの学習後プルーニングを実現するための軽量なアルゴリズムを提案する。 ImageNetの大規模な実験は、DeiT-BやDeiT-Sなど様々なViTアーキテクチャで行われ、他のプルーニング手法と競合する性能を示し、精度の保存と省電力の両立を実現している。 特に,DeiT-Bでは専用ハードウェアで最大3.93倍,GPUで1.79倍の高速化を実現し,実世界のGPUで1.4倍の推論パワー低下を観測した。

関連論文リスト

• CHOSEN: Compilation to Hardware Optimization Stack for Efficient Vision Transformer Inference [4.523939613157408]
  ビジョントランスフォーマー(ViT)は、コンピュータビジョンへの機械学習アプローチにおける画期的なシフトである。 本稿では,これらの課題に対処するソフトウェアハードウェアの共同設計フレームワークであるCHOSENを紹介し,FPGA上にViTをデプロイするための自動フレームワークを提供する。 ChoSENはDeiT-SとDeiT-Bモデルのスループットを1.5倍と1.42倍改善した。
  論文  参考訳（メタデータ） (2024-07-17T16:56:06Z)
• Sparse-Tuning: Adapting Vision Transformers with Efficient Fine-tuning and Inference [14.030836300221756]
  textbfSparse-Tuningは、画像やビデオの情報冗長性を考慮に入れた新しいPEFTメソッドである。 Sparse-Tuningは各層で処理されるトークンの量を最小限に抑え、計算とメモリのオーバーヘッドを2次的に削減する。 我々のSparse-TuningはGFLOPsを62%-70%に削減し,最先端性能を実現した。
  論文  参考訳（メタデータ） (2024-05-23T15:34:53Z)
• CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [79.54107547233625]
  ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。 本稿では,高精度かつ高速な推論速度を実現するViTのジョイント圧縮手法を提案する。 提案手法は,様々な ViT にまたがって最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-09-27T16:12:07Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention [23.874485033096917]
  Vision Transformer (ViT)は、様々なコンピュータビジョンアプリケーションのための畳み込みニューラルネットワークの競合代替として登場した。 そこで本研究では,VitaliTy という,VT の推論効率向上のためのハードウェア設計フレームワークを提案する。 ViTALiTyは、ViTにおける注目の低ランクとスパースの両方のコンポーネントを統合する。
  論文  参考訳（メタデータ） (2022-11-09T18:58:21Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• SPViT: Enabling Faster Vision Transformers via Soft Token Pruning [38.10083471492964]
  ハードウェア効率の伝統的なモデル圧縮パラダイムであるPruningは、様々なDNN構造に広く応用されている。 平板およびCNN型構造のバニラ変圧器に設定できる計算対応ソフトプルーニングフレームワークを提案する。 我々のフレームワークは、画像分類に匹敵する性能を維持しながら、ViTの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2021-12-27T20:15:25Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。