論文の概要: EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers

• arxiv url: http://arxiv.org/abs/2205.03436v1
• Date: Fri, 6 May 2022 18:17:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-15 14:20:47.033115
• Title: EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers
• Title（参考訳）: EdgeViTs: ビジョントランスフォーマーを備えたモバイルデバイス上での軽量CNNの競合
• Authors: Junting Pan, Adrian Bulat, Fuwen Tan, Xiatian Zhu, Lukasz Dudziak, Hongsheng Li, Georgios Tzimiropoulos and Brais Martinez
• Abstract要約: 自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。 われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
• 参考スコア（独自算出の注目度）: 88.52500757894119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention based models such as vision transformers (ViTs) have emerged as a very competitive architecture alternative to convolutional neural networks (CNNs) in computer vision. Despite increasingly stronger variants with ever-higher recognition accuracies, due to the quadratic complexity of self-attention, existing ViTs are typically demanding in computation and model size. Although several successful design choices (e.g., the convolutions and hierarchical multi-stage structure) of prior CNNs have been reintroduced into recent ViTs, they are still not sufficient to meet the limited resource requirements of mobile devices. This motivates a very recent attempt to develop light ViTs based on the state-of-the-art MobileNet-v2, but still leaves a performance gap behind. In this work, pushing further along this under-studied direction we introduce EdgeViTs, a new family of light-weight ViTs that, for the first time, enable attention-based vision models to compete with the best light-weight CNNs in the tradeoff between accuracy and on-device efficiency. This is realized by introducing a highly cost-effective local-global-local (LGL) information exchange bottleneck based on optimal integration of self-attention and convolutions. For device-dedicated evaluation, rather than relying on inaccurate proxies like the number of FLOPs or parameters, we adopt a practical approach of focusing directly on on-device latency and, for the first time, energy efficiency. Specifically, we show that our models are Pareto-optimal when both accuracy-latency and accuracy-energy trade-offs are considered, achieving strict dominance over other ViTs in almost all cases and competing with the most efficient CNNs.
• Abstract（参考訳）: 視覚変換器(ViT)のような自己注意に基づくモデルは、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる非常に競争力のあるアーキテクチャとして登場した。 認識精度が向上するほど、自己注意の二次的な複雑さのため、既存のViTは計算とモデルサイズが要求される。 以前のCNNの設計選択(例えば、畳み込みと階層的な多段階構造)は、近年のViTに再導入されているが、モバイルデバイスの限られたリソース要件を満たすには不十分である。 これは、最先端のMobileNet-v2をベースにした軽量ViTの開発を、ごく最近の試みの動機としている。 この研究では、この未研究の方向をさらに推し進め、EdgeViTsを紹介します。これは、新しい軽量ViTのファミリーで、初めて注目ベースのビジョンモデルが、正確性とデバイス上の効率のトレードオフにおいて、最高の軽量CNNと競合できるようにします。 自己着脱と畳み込みの最適統合に基づく高コスト効率なlgl(local-global-local)情報交換ボトルネックを導入することで実現される。 デバイス専用評価では、FLOPやパラメータの数などの不正確なプロキシに頼るのではなく、デバイス上でのレイテンシに直接フォーカスする実践的なアプローチを採用し、初めてエネルギー効率を向上する。 具体的には、精度レイテンシと精度エネルギーのトレードオフを考慮した場合、我々のモデルはパレート最適であることが示され、ほとんどの場合、他のViTよりも厳格に支配され、最も効率的なCNNと競合する。

関連論文リスト

• Optimizing Vision Transformers with Data-Free Knowledge Transfer [8.323741354066474]
  視覚変換器(ViT)は、長距離依存を捕捉する能力に優れており、様々なコンピュータビジョンタスクに優れていた。 本稿では,KD(Knowledge Distillation)を用いた大規模ViTモデルの圧縮を提案する。
  論文  参考訳（メタデータ） (2024-08-12T07:03:35Z)
• Combined CNN and ViT features off-the-shelf: Another astounding baseline for recognition [49.14350399025926]
  本稿では,ImageNet Large Scale Visual Recognition Challengeのために開発された事前学習型アーキテクチャを,近視認識に適用する。 CNNとViTの中間層の特徴は、近視画像に基づいて個人を認識するのに適した方法である。
  論文  参考訳（メタデータ） (2024-07-28T11:52:36Z)
• PriViT: Vision Transformers for Fast Private Inference [55.36478271911595]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションのための最先端のディープモデルのバックボーンとして登場した。 ViTは、多くの非ポリノミカル操作のため、セキュアなマルチパーティプロトコルを使用したプライベート推論には適していない。 予測精度を維持しつつ,ViTの非線形性を選択的に"テイラー化"するアルゴリズムであるPriViTを提案する。
  論文  参考訳（メタデータ） (2023-10-06T21:45:05Z)
• RepViT: Revisiting Mobile CNN From ViT Perspective [67.05569159984691]
  軽量ビジョントランス (ViT) は、軽量畳み込みニューラルネットワーク (CNN) と比較して、優れた性能と低レイテンシを示す 本研究では、ViTの観点から軽量CNNの効率的な設計を再考し、モバイルデバイスへの将来性を強調した。
  論文  参考訳（メタデータ） (2023-07-18T14:24:33Z)
• FasterViT: Fast Vision Transformers with Hierarchical Attention [63.50580266223651]
  我々は、コンピュータビジョン(CV)アプリケーションのための高速スループットに焦点を当てた、FasterViTという名前のハイブリッドCNN-ViTニューラルネットワークの新たなファミリーを設計する。 新たに導入した階層的注意(HAT)アプローチは,グローバルな自己意識を2次複雑性で分解し,計算コストを削減した多面的注意に分解する。
  論文  参考訳（メタデータ） (2023-06-09T18:41:37Z)
• Rethinking Vision Transformers for MobileNet Size and Speed [58.01406896628446]
  本稿では,低レイテンシでパラメータ効率の高い新しいスーパーネットを提案する。 また,変圧器モデルに対して,よりきめ細かな共同探索戦略を導入する。 この研究は、MobileNetレベルのサイズと速度であっても、適切に設計され、最適化されたビジョントランスフォーマーがハイパフォーマンスを実現することを実証している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:12Z)
• Bootstrapping ViTs: Towards Liberating Vision Transformers from Pre-training [29.20567759071523]
  ビジョントランスフォーマー(ViT)は急速に発展し、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)の支配に挑戦し始めている。 本稿では,上位境界のネットワークアーキテクチャを保ちながら,CNNのインダクティブバイアスをViTに戻す。 CIFAR-10/100 と ImageNet-1k の限られたトレーニングデータによる実験は、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-07T07:56:50Z)
• Rethinking the Design Principles of Robust Vision Transformer [28.538786330184642]
  視覚トランスフォーマー (vit) は、従来の畳み込みニューラルネットワーク (cnns) をほとんどの視覚タスクで上回っていることを示した。 本稿では, ViTs の設計原理を堅牢性に基づいて再考する。 堅牢な設計部品を組み合わせることで、ロバストビジョントランス(RVT)を提案します。
  論文  参考訳（メタデータ） (2021-05-17T15:04:15Z)
• LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference [25.63398340113755]
  高速システムにおける精度と効率のトレードオフを最適化する画像分類アーキテクチャのファミリーを設計します。 視覚変換器に位置情報を統合する新しい手法である注意バイアスを導入する。 全体として、LeViTは、スピード/精度のトレードオフに関して、既存のコンベットとビジョントランスを大幅に上回ります。
  論文  参考訳（メタデータ） (2021-04-02T16:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。