Fugu-MT 論文翻訳(概要): LGViT: Dynamic Early Exiting for Accelerating Vision Transformer

論文の概要: LGViT: Dynamic Early Exiting for Accelerating Vision Transformer

arxiv url: http://arxiv.org/abs/2308.00255v1
Date: Tue, 1 Aug 2023 03:35:32 GMT
ステータス: 処理完了
システム内更新日: 2023-08-02 15:41:57.272632
Title: LGViT: Dynamic Early Exiting for Accelerating Vision Transformer
Title（参考訳）: lgvit: 視覚トランスフォーマーを加速するダイナミック早期エグジット
Authors: Guanyu Xu, Jiawei Hao, Li Shen, Han Hu, Yong Luo, Hui Lin, Jialie Shen
Abstract要約: 本稿では,汎用視覚変換器(ViT)の早期終了フレームワークを提案し,効率・精度のトレードオフを実現する。特に,早期退避型ViTを生成するために,背骨を凍結したエンドツーエンドのトレーニングと自己蒸留を含む,新しい2段階のトレーニング手法を開発した。その結果,LGViTは1.8ドル程度のスピードアップで競争性能を達成できることがわかった。
参考スコア（独自算出の注目度）: 21.52225935329002
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, the efficient deployment and acceleration of powerful vision transformers (ViTs) on resource-limited edge devices for providing multimedia services have become attractive tasks. Although early exiting is a feasible solution for accelerating inference, most works focus on convolutional neural networks (CNNs) and transformer models in natural language processing (NLP).Moreover, the direct application of early exiting methods to ViTs may result in substantial performance degradation. To tackle this challenge, we systematically investigate the efficacy of early exiting in ViTs and point out that the insufficient feature representations in shallow internal classifiers and the limited ability to capture target semantic information in deep internal classifiers restrict the performance of these methods. We then propose an early exiting framework for general ViTs termed LGViT, which incorporates heterogeneous exiting heads, namely, local perception head and global aggregation head, to achieve an efficiency-accuracy trade-off. In particular, we develop a novel two-stage training scheme, including end-to-end training and self-distillation with the backbone frozen to generate early exiting ViTs, which facilitates the fusion of global and local information extracted by the two types of heads. We conduct extensive experiments using three popular ViT backbones on three vision datasets. Results demonstrate that our LGViT can achieve competitive performance with approximately 1.8 $\times$ speed-up.
Abstract（参考訳）: 近年,マルチメディアサービスを提供するためのリソース制限エッジデバイス上での強力な視覚変換器(ViT)の効率的な展開と高速化が注目されている。早期退避は推論を加速するための実現可能なソリューションであるが、ほとんどの研究は自然言語処理(NLP)における畳み込みニューラルネットワーク(CNN)とトランスフォーマーモデルに焦点を当てている。さらに, 早期終了法のViTへの直接適用により, 性能が著しく低下する可能性がある。この課題に対処するために、我々はViTにおける早期終了の有効性を体系的に検討し、浅層内部分類器における特徴表現の不足と深層内部分類器における目標意味情報を捕捉する能力に制限があることを指摘した。そこで我々は, 局所認識ヘッドとグローバルアグリゲーションヘッドという異種エグジットヘッドを組み込んだ, LGViT と呼ばれる一般 ViT の早期エグジットフレームワークを提案し, 効率・精度のトレードオフを実現する。特に,2種類の頭部から抽出した大域的・局所的な情報の融合を促進するために,凍結した背骨によるエンドツーエンドのトレーニングと自己蒸留を含む新しい2段階のトレーニング手法を開発した。 3つのビジョンデータセット上で3つの人気のあるViTバックボーンを用いて広範な実験を行う。その結果,LGViTは1.8ドル以上のスピードアップで競争性能を達成できることがわかった。

関連論文リスト

Optimizing Vision Transformers with Data-Free Knowledge Transfer [8.323741354066474]
視覚変換器(ViT)は、長距離依存を捕捉する能力に優れており、様々なコンピュータビジョンタスクに優れていた。本稿では,KD(Knowledge Distillation)を用いた大規模ViTモデルの圧縮を提案する。
論文参考訳（メタデータ） (2024-08-12T07:03:35Z)
Denoising Vision Transformers [43.03068202384091]
本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
論文参考訳（メタデータ） (2024-01-05T18:59:52Z)
ViT-Lens: Towards Omni-modal Representations [64.66508684336614]
ViT-Lens-2は、モダリティ増加の表現学習のためのフレームワークである。 ViT-Lens-2は3Dポイントクラウド,奥行き,オーディオ,触覚,脳波の表現を学習できることを示す。 ViT-Lens-2をシームレスにMultimodal Foundation Modelsに統合することにより、テキストと画像生成へのAny-modalityを可能にする。
論文参考訳（メタデータ） (2023-11-27T18:52:09Z)
ViT-Lens: Initiating Omni-Modal Exploration through 3D Insights [61.36309876889977]
ViT-Lensは、事前訓練されたViTで新しいモダリティを知覚し、予め定義された空間に整列することで、効率的なOmni-Modal表現学習を可能にする。ゼロショット3D分類では、ViT-Lensは従来の最先端技術よりも大幅に改善されている。近い将来、さらなるモダリティに関するViT-Lensの結果を公表します。
論文参考訳（メタデータ） (2023-08-20T07:26:51Z)
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention [23.874485033096917]
Vision Transformer (ViT)は、様々なコンピュータビジョンアプリケーションのための畳み込みニューラルネットワークの競合代替として登場した。そこで本研究では,VitaliTy という,VT の推論効率向上のためのハードウェア設計フレームワークを提案する。 ViTALiTyは、ViTにおける注目の低ランクとスパースの両方のコンポーネントを統合する。
論文参考訳（メタデータ） (2022-11-09T18:58:21Z)
MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer [52.0699787446221]
自己教師付き単眼深度推定の柔軟性とViTモデルにより実現された大域的推論の枠組みであるMonoViTを提案する。平易な畳み込みとTransformerブロックを組み合わせることで、我々のモデルは局所的かつグローバルに推論し、より詳細な精度と精度で深度予測を行うことができる。
論文参考訳（メタデータ） (2022-08-06T16:54:45Z)
EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers [88.52500757894119]
自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
論文参考訳（メタデータ） (2022-05-06T18:17:19Z)
Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
論文参考訳（メタデータ） (2022-04-26T08:22:34Z)
ViTGAN: Training GANs with Vision Transformers [46.769407314698434]
視覚変換器(ViT)は、視覚固有の誘導バイアスを少なくしながら、画像認識に競争力を発揮している。 ViTを用いたGANのトレーニングのための新しい正規化手法をいくつか紹介する。我々のアプローチはViTGANと呼ばれ、3つのデータセット上の主要なCNNベースのGANモデルに匹敵する性能を実現している。
論文参考訳（メタデータ） (2021-07-09T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。