論文の概要: LGViT: Dynamic Early Exiting for Accelerating Vision Transformer
- arxiv url: http://arxiv.org/abs/2308.00255v1
- Date: Tue, 1 Aug 2023 03:35:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 15:41:57.272632
- Title: LGViT: Dynamic Early Exiting for Accelerating Vision Transformer
- Title(参考訳): lgvit: 視覚トランスフォーマーを加速するダイナミック早期エグジット
- Authors: Guanyu Xu, Jiawei Hao, Li Shen, Han Hu, Yong Luo, Hui Lin, Jialie Shen
- Abstract要約: 本稿では,汎用視覚変換器(ViT)の早期終了フレームワークを提案し,効率・精度のトレードオフを実現する。
特に,早期退避型ViTを生成するために,背骨を凍結したエンドツーエンドのトレーニングと自己蒸留を含む,新しい2段階のトレーニング手法を開発した。
その結果,LGViTは1.8ドル程度のスピードアップで競争性能を達成できることがわかった。
- 参考スコア(独自算出の注目度): 21.52225935329002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the efficient deployment and acceleration of powerful vision
transformers (ViTs) on resource-limited edge devices for providing multimedia
services have become attractive tasks. Although early exiting is a feasible
solution for accelerating inference, most works focus on convolutional neural
networks (CNNs) and transformer models in natural language processing
(NLP).Moreover, the direct application of early exiting methods to ViTs may
result in substantial performance degradation. To tackle this challenge, we
systematically investigate the efficacy of early exiting in ViTs and point out
that the insufficient feature representations in shallow internal classifiers
and the limited ability to capture target semantic information in deep internal
classifiers restrict the performance of these methods. We then propose an early
exiting framework for general ViTs termed LGViT, which incorporates
heterogeneous exiting heads, namely, local perception head and global
aggregation head, to achieve an efficiency-accuracy trade-off. In particular,
we develop a novel two-stage training scheme, including end-to-end training and
self-distillation with the backbone frozen to generate early exiting ViTs,
which facilitates the fusion of global and local information extracted by the
two types of heads. We conduct extensive experiments using three popular ViT
backbones on three vision datasets. Results demonstrate that our LGViT can
achieve competitive performance with approximately 1.8 $\times$ speed-up.
- Abstract(参考訳): 近年,マルチメディアサービスを提供するためのリソース制限エッジデバイス上での強力な視覚変換器(ViT)の効率的な展開と高速化が注目されている。
早期退避は推論を加速するための実現可能なソリューションであるが、ほとんどの研究は自然言語処理(NLP)における畳み込みニューラルネットワーク(CNN)とトランスフォーマーモデルに焦点を当てている。
さらに, 早期終了法のViTへの直接適用により, 性能が著しく低下する可能性がある。
この課題に対処するために、我々はViTにおける早期終了の有効性を体系的に検討し、浅層内部分類器における特徴表現の不足と深層内部分類器における目標意味情報を捕捉する能力に制限があることを指摘した。
そこで我々は, 局所認識ヘッドとグローバルアグリゲーションヘッドという異種エグジットヘッドを組み込んだ, LGViT と呼ばれる一般 ViT の早期エグジットフレームワークを提案し, 効率・精度のトレードオフを実現する。
特に,2種類の頭部から抽出した大域的・局所的な情報の融合を促進するために,凍結した背骨によるエンドツーエンドのトレーニングと自己蒸留を含む新しい2段階のトレーニング手法を開発した。
3つのビジョンデータセット上で3つの人気のあるViTバックボーンを用いて広範な実験を行う。
その結果,LGViTは1.8ドル以上のスピードアップで競争性能を達成できることがわかった。
関連論文リスト
- HSViT: Horizontally Scalable Vision Transformer [16.46308352393693]
本稿では,新しい水平方向拡張型視覚変換器(HSViT)を提案する。
HSViTは最先端のスキームよりも最大10%高いトップ1精度を達成する。
論文 参考訳(メタデータ) (2024-04-08T04:53:29Z) - Denoising Vision Transformers [43.319396123318676]
ビジョントランスフォーマー(ViT)はグリッドのような成果物を示し、下流タスクにおけるViTのパフォーマンスを著しく損なう。
本稿では,全VTに適用可能な新しいノイズモデルを提案する。
未処理のViT出力から直接アーチファクトフリーの機能を予測するための学習可能なデノイザを導入する。
論文 参考訳(メタデータ) (2024-01-05T18:59:52Z) - Group Multi-View Transformer for 3D Shape Analysis with Spatial Encoding [84.69144118699766]
近年,ビューベース3次元形状認識手法の結果は飽和しており,メモリ制限デバイスに優れた性能を持つモデルは展開できない。
本稿では,本分野の知識蒸留に基づく圧縮手法を提案し,モデル性能を極力保ちながらパラメータ数を大幅に削減する。
具体的には、小型モデルの能力を高めるため、GMViT(Group Multi-view Vision Transformer)と呼ばれる高性能な大型モデルを設計する。
GMViTは、ベンチマークデータセットであるModelNet、ShapeNetCore55、MCBにおいて、優れた3D分類と検索結果を得る。
論文 参考訳(メタデータ) (2023-12-27T08:52:41Z) - ViT-Lens: Towards Omni-modal Representations [64.66508684336614]
ViT-Lens-2は、モダリティ増加の表現学習のためのフレームワークである。
ViT-Lens-2は3Dポイントクラウド,奥行き,オーディオ,触覚,脳波の表現を学習できることを示す。
ViT-Lens-2をシームレスにMultimodal Foundation Modelsに統合することにより、テキストと画像生成へのAny-modalityを可能にする。
論文 参考訳(メタデータ) (2023-11-27T18:52:09Z) - ViT-Lens: Initiating Omni-Modal Exploration through 3D Insights [61.36309876889977]
ViT-Lensは、事前訓練されたViTで新しいモダリティを知覚し、予め定義された空間に整列することで、効率的なOmni-Modal表現学習を可能にする。
ゼロショット3D分類では、ViT-Lensは従来の最先端技術よりも大幅に改善されている。
近い将来、さらなるモダリティに関するViT-Lensの結果を公表します。
論文 参考訳(メタデータ) (2023-08-20T07:26:51Z) - ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision
Transformer Acceleration with a Linear Taylor Attention [23.874485033096917]
Vision Transformer (ViT)は、様々なコンピュータビジョンアプリケーションのための畳み込みニューラルネットワークの競合代替として登場した。
そこで本研究では,VitaliTy という,VT の推論効率向上のためのハードウェア設計フレームワークを提案する。
ViTALiTyは、ViTにおける注目の低ランクとスパースの両方のコンポーネントを統合する。
論文 参考訳(メタデータ) (2022-11-09T18:58:21Z) - MonoViT: Self-Supervised Monocular Depth Estimation with a Vision
Transformer [52.0699787446221]
自己教師付き単眼深度推定の柔軟性とViTモデルにより実現された大域的推論の枠組みであるMonoViTを提案する。
平易な畳み込みとTransformerブロックを組み合わせることで、我々のモデルは局所的かつグローバルに推論し、より詳細な精度と精度で深度予測を行うことができる。
論文 参考訳(メタデータ) (2022-08-06T16:54:45Z) - EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision
Transformers [88.52500757894119]
自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。
われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
論文 参考訳(メタデータ) (2022-05-06T18:17:19Z) - Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。
重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。
また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
論文 参考訳(メタデータ) (2022-04-26T08:22:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。