論文の概要: oViT: An Accurate Second-Order Pruning Framework for Vision Transformers
- arxiv url: http://arxiv.org/abs/2210.09223v1
- Date: Fri, 14 Oct 2022 12:19:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 17:31:30.905850
- Title: oViT: An Accurate Second-Order Pruning Framework for Vision Transformers
- Title（参考訳）: oViT: ヴィジュアルトランスフォーマーのための正確な2階プルーニングフレームワーク
- Authors: Denis Kuznedelev, Eldar Kurtic, Elias Frantar, Dan Alistarh
- Abstract要約: 視覚変換器(ViT)モデルの重み空間化のための新しい最先端手法である最適ViTサージオン(oViT)を提案する。
技術的レベルでは、oViTは2次情報を活用する新しい重み付けアルゴリズムを導入している。
提案手法は構造化プルーニング法や量子化法と互換性があり,スパース性を考慮した推論エンジンの高速化に繋がることを示す。
- 参考スコア（独自算出の注目度）: 22.055655390093722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models from the Vision Transformer (ViT) family have recently provided
breakthrough results across image classification tasks such as ImageNet. Yet,
they still face barriers to deployment, notably the fact that their accuracy
can be severely impacted by compression techniques such as pruning. In this
paper, we take a step towards addressing this issue by introducing Optimal ViT
Surgeon (oViT), a new state-of-the-art method for the weight sparsification of
Vision Transformers (ViT) models. At the technical level, oViT introduces a new
weight pruning algorithm which leverages second-order information, specifically
adapted to be both highly-accurate and efficient in the context of ViTs. We
complement this accurate one-shot pruner with an in-depth investigation of
gradual pruning, augmentation, and recovery schedules for ViTs, which we show
to be critical for successful ViT compression. We validate our method via
extensive experiments on classical ViT and DeiT models, as well as on newer
variants, such as XCiT, EfficientFormer and Swin. Moreover, our results are
even relevant to recently-proposed highly-accurate ResNets. Our results show
for the first time that ViT-family models can in fact be pruned to high
sparsity levels (e.g. $\geq 75\%$) with low impact on accuracy ($\leq 1\%$
relative drop), and that our approach outperforms prior methods by significant
margins at high sparsities. In addition, we show that our method is compatible
with structured pruning methods and quantization, and that it can lead to
significant speedups on a sparsity-aware inference engine.
- Abstract（参考訳）: Vision Transformer (ViT)ファミリーのモデルは最近、ImageNetのような画像分類タスクでブレークスルー結果を提供している。
それでもなお、デプロイの障壁に直面しており、特にその正確さは、刈り取りのような圧縮技術によって深刻な影響を受ける可能性がある。
本稿では,視覚変換器 (ViT) モデルの重み空間化のための新しい最先端手法である Optimal ViT Surgeon (oViT) を導入することでこの問題に対処する。
技術的レベルでは、oViTは2階情報を活用する新しい重み付けアルゴリズムを導入し、特にViTの文脈において高精度かつ効率的に適合する。
我々は、この正確なワンショットプルーナーを、ViTの段階的なプルーニング、拡張、回復スケジュールの詳細な調査で補完し、ViT圧縮の成功に不可欠であることを示す。
我々は,古典的ViTモデルやDeiTモデル,XCiT,EfficientFormer,Swinなどの新しい変種について広範な実験を行い,本手法の有効性を検証した。
さらに、最近提案された高精度ResNetにも関係しています。
その結果,vitファミリーモデルは高いスパース率(例えば$\geq 75\%$)で精度に影響を及ぼすこと,また高いスパース率でかなりのマージンで従来の手法を上回ることなどが確認された。
さらに,本手法は構造化プルーニング法や量子化法と互換性があり,スパース性を考慮した推論エンジンの高速化に繋がることを示す。
関連論文リスト
- Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression [24.119415458653616]
我々はモデル非依存とタスク非依存の両方に同時に対処する新しい統一型刈取フレームワークComb, Prune, Distill (CPD)を提案する。
当社のフレームワークは階層的な階層的な依存性問題を解決するための統合的なステップを採用しており、アーキテクチャの独立性を実現しています。
画像分類では、精度が1.8%、セマンティックセグメンテーションがx1.89、mIoUが5.1%のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-08-06T09:02:31Z) - Task-Agnostic Structured Pruning of Speech Representation Models [18.555223754089905]
性能劣化を補うための微粒なアテンションヘッドプルーニング法を提案する。
SUPERBベンチマーク実験により,複数のタスクで高密度モデルに匹敵する性能が得られた。
論文 参考訳（メタデータ） (2023-06-02T09:11:06Z) - GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous
Structured Pruning for Vision Transformer [76.2625311630021]
視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。
この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。
グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
論文 参考訳（メタデータ） (2023-01-13T00:40:24Z) - Annealing Double-Head: An Architecture for Online Calibration of Deep
Neural Networks [1.1602089225841632]
現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。
本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。
提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
論文 参考訳（メタデータ） (2022-12-27T21:21:58Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳（メタデータ） (2022-07-28T16:13:28Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - The Optimal BERT Surgeon: Scalable and Accurate Second-Order Pruning for
Large Language Models [23.12519490211362]
本稿では,BERTモデルの文脈における非構造重み打ちの精度圧縮トレードオフについて検討する。
近似2次情報に基づく効率的かつ正確な重量刈り法であるO-BERT-S(Optimal BERT Surgeon)を提案する。
本研究では,トランスフォーマーモデルに対する圧縮手法の複合化において,このプルーニング法が与える影響について検討する。
論文 参考訳（メタデータ） (2022-03-14T16:40:31Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳（メタデータ） (2021-06-17T02:40:18Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。