論文の概要: NViT: Vision Transformer Compression and Parameter Redistribution
- arxiv url: http://arxiv.org/abs/2110.04869v1
- Date: Sun, 10 Oct 2021 18:04:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 18:03:19.602828
- Title: NViT: Vision Transformer Compression and Parameter Redistribution
- Title(参考訳): NViT:視覚変換器圧縮とパラメータ再分配
- Authors: Huanrui Yang, Hongxu Yin, Pavlo Molchanov, Hai Li, Jan Kautz
- Abstract要約: 遅延低減のための視覚変換器 (ViT) モデルの全パラメータに対して, 遅延を考慮した正規化によるグローバルかつ構造的なプルーニングを適用する。
我々の発見はNViT (Novel ViT) と呼ばれる新しいアーキテクチャに繋がる。
ImageNet-1Kでは、DIT-Base(Touvron et al., 2021)モデルを2.6倍のFLOPs削減、5.1倍のパラメータ削減、1.9倍のランタイム高速化を実現し、精度は0.07%しか損なわない。
- 参考スコア(独自算出の注目度): 83.67567270539892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers yield state-of-the-art results across many tasks. However, they
still impose huge computational costs during inference. We apply global,
structural pruning with latency-aware regularization on all parameters of the
Vision Transformer (ViT) model for latency reduction. Furthermore, we analyze
the pruned architectures and find interesting regularities in the final weight
structure. Our discovered insights lead to a new architecture called NViT
(Novel ViT), with a redistribution of where parameters are used. This
architecture utilizes parameters more efficiently and enables control of the
latency-accuracy trade-off. On ImageNet-1K, we prune the DEIT-Base (Touvron et
al., 2021) model to a 2.6x FLOPs reduction, 5.1x parameter reduction, and 1.9x
run-time speedup with only 0.07% loss in accuracy. We achieve more than 1%
accuracy gain when compressing the base model to the throughput of the
Small/Tiny variants. NViT gains 0.1-1.1% accuracy over the hand-designed DEIT
family when trained from scratch, while being faster.
- Abstract(参考訳): トランスフォーマーは多くのタスクで最先端の結果をもたらす。
しかし、推論中に膨大な計算コストがかかる。
我々は、遅延低減のためにvision transformer(vit)モデルのすべてのパラメータに、レイテンシを認識したグローバル構造プルーニングを適用する。
さらに,prunedアーキテクチャを分析し,最終重み構造に興味深い正則性を見出した。
我々の発見はNViT(Novel ViT)と呼ばれる新しいアーキテクチャにつながり、パラメータの使い方を再分配する。
このアーキテクチャはパラメータをより効率的に利用し、遅延精度トレードオフの制御を可能にする。
ImageNet-1Kでは、DIT-Base(Touvron et al., 2021)モデルを2.6倍のFLOPs削減、5.1倍のパラメータ削減、1.9倍のランタイム高速化を実現し、精度は0.07%しか損なわない。
ベースモデルを小型/tiny変種のスループットに圧縮すると,1%以上の精度向上が得られる。
NViTは、スクラッチからトレーニングした時に手書きのDEITファミリーよりも0.1-1.1%精度が向上する。
関連論文リスト
- Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [81.55024300036388]
下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。
優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。
我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
論文 参考訳(メタデータ) (2023-11-10T18:59:54Z) - Plug n' Play: Channel Shuffle Module for Enhancing Tiny Vision
Transformers [15.108494142240993]
視覚変換器(ViT)は様々なコンピュータビジョンタスクにおいて顕著な性能を示した。
高い計算複雑性は、ViTsのメモリとコンピューティングリソースの制限のあるデバイスへの適用性を妨げている。
小型VTを改良するための新しいチャネルシャッフルモジュールを提案する。
論文 参考訳(メタデータ) (2023-10-09T11:56:35Z) - Sub-token ViT Embedding via Stochastic Resonance Transformers [54.84390340877745]
本稿では、事前学習したViTが空間量子化をどのように扱うかを改善する方法を提案する。
SRT(Stochastic Resonance Transformer)と呼ぶ。
SRTはどんな層でも、どんなタスクでも適用でき、微調整は不要である。
論文 参考訳(メタデータ) (2023-10-06T01:53:27Z) - Light-Weight Vision Transformer with Parallel Local and Global
Self-Attention [11.255962936937744]
Vision Transformer PLG-ViTを、よりコンパクトで効率的なものに再設計しました。
ImageNet-1K 分類ベンチマークで 79.5$%$ top-1 の精度を達成した。
我々のネットワークは、一般的なビジョンベンチマークで優れた性能を示している。
論文 参考訳(メタデータ) (2023-07-18T10:07:06Z) - GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous
Structured Pruning for Vision Transformer [76.2625311630021]
視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。
この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。
グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
論文 参考訳(メタデータ) (2023-01-13T00:40:24Z) - EIT: Efficiently Lead Inductive Biases to ViT [17.66805405320505]
ViT(Vision Transformer)は、畳み込みニューラルネットワークに固有の帰納バイアスに類似した特性に依存する。
本稿では, インダクティブバイアスをViT(EIT)に効率よく導くアーキテクチャを提案し, インダクティブバイアスをViTの両相に効果的に導くことができる。
ViTと比較して4つの一般的な小規模データセットでは、EITは平均12.6%の精度向上であり、パラメータやFLOPは少ない。
論文 参考訳(メタデータ) (2022-03-14T14:01:17Z) - AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。
AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
論文 参考訳(メタデータ) (2021-12-14T18:56:07Z) - A Unified Pruning Framework for Vision Transformers [40.7622551128182]
ビジョントランス(ViT)とその変種は様々なコンピュータビジョンタスクにおいて有望な性能を達成した。
本稿では, UP-ViT と UP-ViT の両方の構造解析のための統一的な枠組みを提案する。
本手法は,モデル構造の整合性を維持しつつ,すべてのViTsコンポーネントのプルーニングに重点を置いている。
論文 参考訳(メタデータ) (2021-11-30T05:01:02Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳(メタデータ) (2021-05-17T02:39:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。