論文の概要: ED-ViT: Splitting Vision Transformer for Distributed Inference on Edge Devices

• arxiv url: http://arxiv.org/abs/2410.11650v1
• Date: Tue, 15 Oct 2024 14:38:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:45.778642
• Title: ED-ViT: Splitting Vision Transformer for Distributed Inference on Edge Devices
• Title（参考訳）: ED-ViT:エッジデバイス上での分散推論のための分割ビジョン変換器
• Authors: Xiang Liu, Yijun Song, Xia Li, Yifei Sun, Huiying Lan, Zemin Liu, Linshan Jiang, Jialin Li,
• Abstract要約: 本稿では,複数のエッジデバイスにまたがる複雑なモデルを効率的に実行するための新しいビジョントランスフォーマー分割フレームワークED-ViTを提案する。 具体的には、Vision Transformerモデルをいくつかのサブモデルに分割し、各サブモデルはデータクラスの特定のサブセットを処理するように調整します。 3つのモデル構造を持つ5つのデータセットに対して広範な実験を行い、エッジデバイスにおける推論遅延を著しく低減することを示す。
• 参考スコア（独自算出の注目度）: 13.533267828812455
• License:
• Abstract: Deep learning models are increasingly deployed on resource-constrained edge devices for real-time data analytics. In recent years, Vision Transformer models and their variants have demonstrated outstanding performance across various computer vision tasks. However, their high computational demands and inference latency pose significant challenges for model deployment on resource-constraint edge devices. To address this issue, we propose a novel Vision Transformer splitting framework, ED-ViT, designed to execute complex models across multiple edge devices efficiently. Specifically, we partition Vision Transformer models into several sub-models, where each sub-model is tailored to handle a specific subset of data classes. To further minimize computation overhead and inference latency, we introduce a class-wise pruning technique that reduces the size of each sub-model. We conduct extensive experiments on five datasets with three model structures, demonstrating that our approach significantly reduces inference latency on edge devices and achieves a model size reduction of up to 28.9 times and 34.1 times, respectively, while maintaining test accuracy comparable to the original Vision Transformer. Additionally, we compare ED-ViT with two state-of-the-art methods that deploy CNN and SNN models on edge devices, evaluating accuracy, inference time, and overall model size. Our comprehensive evaluation underscores the effectiveness of the proposed ED-ViT framework.
• Abstract（参考訳）: ディープラーニングモデルは、リアルタイムデータ分析のために、リソース制約のあるエッジデバイスにますますデプロイされている。 近年、Vision Transformerモデルとその変種は、様々なコンピュータビジョンタスクにおいて優れた性能を示している。 しかし、その高い計算要求と推論遅延は、リソース制約エッジデバイス上でのモデル展開に重大な課題をもたらす。 そこで本研究では,複数のエッジデバイスにまたがる複雑なモデルを効率的に実行するための新しいビジョントランスフォーマー分割フレームワークED-ViTを提案する。 具体的には、Vision Transformerモデルをいくつかのサブモデルに分割し、各サブモデルはデータクラスの特定のサブセットを処理するように調整します。 さらに計算オーバーヘッドと推論遅延を最小化するために,各サブモデルのサイズを小さくするクラスワイズプルーニング手法を導入する。 3つのモデル構造を持つ5つのデータセットに対して広範な実験を行い、当社のアプローチはエッジデバイスの推論遅延を著しく低減し、それぞれ28.9倍と34.1倍のモデルサイズ縮小を実現し、元のVision Transformerに匹敵するテスト精度を維持した。 さらに、ED-ViTと最先端デバイスにCNNとSNNモデルをデプロイする2つの最先端手法を比較し、精度、推測時間、全体モデルサイズを評価する。 本稿では,ED-ViTフレームワークの有効性を総合的に評価する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Research on Personalized Compression Algorithm for Pre-trained Models Based on Homomorphic Entropy Increase [2.6513322539118582]
  我々は、現在のAI分野における2つの重要な技術の課題と進化を探求する:ビジョントランスフォーマーモデルと大規模言語モデル(LLM)。 Vision Transformerは、イメージを小さな断片に分割することで、グローバルな情報をキャプチャするが、その高い参照数とモバイル機器へのオーバヘッド制限の配置を計算する。 LLMは自然言語処理に革命をもたらしたが、デプロイメントの課題にも直面している。
  論文  参考訳（メタデータ） (2024-08-16T11:56:49Z)
• Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities [11.53488611812612]
  近年のVision-Language(VL)モデルの進歩は、エッジデバイスへの展開への関心を喚起している。 We introduced EdgeVL, a novel framework that seamlessly integrates dual-modality knowledge distillation and Quantization-aware contrastive learning。 私たちの研究は、エッジデプロイメントに大規模なVLモデルを適応するための最初の体系的な取り組みであり、複数のデータセットで最大15.4%の精度向上と、最大93倍のモデルサイズ削減を示している。
  論文  参考訳（メタデータ） (2024-03-07T21:34:40Z)
• OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning [29.798780069556074]
  フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。 トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
  論文  参考訳（メタデータ） (2024-01-22T02:17:36Z)
• Analyzing Local Representations of Self-supervised Vision Transformers [34.56680159632432]
  各種自己監督型視覚変換器(ViT)の比較分析を行った。 大規模言語モデルに触発されて、微調整をほとんど行わずに様々なコンピュータビジョンタスクを実行するViTの能力について検討する。
  論文  参考訳（メタデータ） (2023-12-31T11:38:50Z)
• VST++: Efficient and Stronger Visual Saliency Transformer [74.26078624363274]
  我々は,グローバルな長距離依存関係を探索する,効率的で強力なVST++モデルを開発した。 我々は、RGB、RGB-D、RGB-T SODベンチマークデータセット上で、トランスフォーマーベースのバックボーンにまたがってモデルを評価した。
  論文  参考訳（メタデータ） (2023-10-18T05:44:49Z)
• Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design [84.34416126115732]
  スケーリング法則は、最近、与えられた計算時間に最適なモデルサイズ(パラメータの数)を導出するために用いられる。 我々は、幅や深さなどの計算最適モデル形状を推測する手法を進化させ、改良し、視覚変換器でこれを実装した。 我々の形状最適化型視覚変換器SoViTは、同等の計算量で事前訓練されているにもかかわらず、サイズが2倍以上のモデルと競合する結果を得る。
  論文  参考訳（メタデータ） (2023-05-22T13:39:28Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。