論文の概要: Vision Transformer Computation and Resilience for Dynamic Inference

• arxiv url: http://arxiv.org/abs/2212.02687v3
• Date: Mon, 15 Apr 2024 22:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 03:00:14.947119
• Title: Vision Transformer Computation and Resilience for Dynamic Inference
• Title（参考訳）: 動的推論のための視覚変換器計算とレジリエンス
• Authors: Kavya Sreedhar, Jason Clemons, Rangharajan Venkatesan, Stephen W. Keckler, Mark Horowitz,
• Abstract要約: 我々は、視覚変換器のレジリエンスを活用して、モデルの異なるスケールバージョンをプルーニングし、切り替える。 ほとんどのFLOPは、注意ではなく、畳み込みによって生成される。 いくつかのモデルは比較的弾力性があり、モデルの実行は再トレーニングせずに適応できる。
• 参考スコア（独自算出の注目度）: 3.6929360462568077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art deep learning models for computer vision tasks are based on the transformer architecture and often deployed in real-time applications. In this scenario, the resources available for every inference can vary, so it is useful to be able to dynamically adapt execution to trade accuracy for efficiency. To create dynamic models, we leverage the resilience of vision transformers to pruning and switch between different scaled versions of a model. Surprisingly, we find that most FLOPs are generated by convolutions, not attention. These relative FLOP counts are not a good predictor of GPU performance since GPUs have special optimizations for convolutions. Some models are fairly resilient and their model execution can be adapted without retraining, while all models achieve better accuracy with retraining alternative execution paths. These insights mean that we can leverage CNN accelerators and these alternative execution paths to enable efficient and dynamic vision transformer inference. Our analysis shows that leveraging this type of dynamic execution can lead to saving 28\% of energy with a 1.4\% accuracy drop for SegFormer (63 GFLOPs), with no additional training, and 53\% of energy for ResNet-50 (4 GFLOPs) with a 3.3\% accuracy drop by switching between pretrained Once-For-All models.
• Abstract（参考訳）: コンピュータビジョンタスクのための最先端のディープラーニングモデルは、トランスフォーマーアーキテクチャに基づいており、しばしばリアルタイムアプリケーションにデプロイされる。 このシナリオでは、すべての推論で利用可能なリソースが異なるため、実行を効率よく取引精度に動的に適応できることが有用である。 動的モデルを作成するには、視覚変換器のレジリエンスを活用して、モデルの異なるスケールバージョンをプルーニングし、切り替える。 驚いたことに、ほとんどのFLOPは、注意ではなく、畳み込みによって生成される。 これらの相対的なFLOPカウントは、GPUが畳み込みに特別な最適化を持っているため、GPUパフォーマンスの予測には適していない。 一部のモデルはかなり弾力性があり、そのモデル実行は再トレーニングなしで適応できるが、全てのモデルは代替実行パスを再トレーニングすることで精度が向上する。 これらの知見は、CNNアクセラレータと代替実行パスを活用して、効率的な動的ビジョントランスフォーマー推論を可能にすることを意味する。 解析の結果,SegFormer (63 GFLOPs) では 1.4 % の精度低下,ResNet-50 (4 GFLOPs) では 53 % のエネルギーを,事前訓練した once-For-All モデルでは 3.3 % の精度低下で削減できることがわかった。

関連論文リスト

• PredFormer: Transformers Are Effective Spatial-Temporal Predictive Learners [65.93130697098658]
  本稿では、予測学習のための純粋なトランスフォーマーベースのフレームワークであるPredFormerを提案する。 PredFormerは、リカレントフリーでトランスフォーマーベースの設計で、シンプルかつ効率的である。 合成および実世界のデータセットに関する実験は、PredFormerが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-07T03:52:06Z)
• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation [73.31524865643709]
  本稿では,Hourglass Tokenizer (HoT) と呼ばれるプラグアンドプレイのプルーニング・アンド・リカバリフレームワークを提案する。 私たちのHoDTは、冗長なフレームのポーズトークンのプルーニングから始まり、フル長のトークンを復元することで終了します。 提案手法は,従来のVPTモデルと比較して高い効率性と推定精度を両立させることができる。
  論文  参考訳（メタデータ） (2023-11-20T18:59:51Z)
• Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design [84.34416126115732]
  スケーリング法則は、最近、与えられた計算時間に最適なモデルサイズ(パラメータの数)を導出するために用いられる。 我々は、幅や深さなどの計算最適モデル形状を推測する手法を進化させ、改良し、視覚変換器でこれを実装した。 我々の形状最適化型視覚変換器SoViTは、同等の計算量で事前訓練されているにもかかわらず、サイズが2倍以上のモデルと競合する結果を得る。
  論文  参考訳（メタデータ） (2023-05-22T13:39:28Z)
• Dynamic Mobile-Former: Strengthening Dynamic Convolution with Attention and Residual Connection in Kernel Space [4.111899441919165]
  Dynamic Mobile-Formerは、効率的な演算子と調和させることで動的畳み込みの能力を最大化する。 PVT.A Transformer in Dynamic Mobile-Formerは、グローバルな機能をランダムに計算するだけである。 Dynamic MobileNetとTransformerのブリッジは、ローカル機能とグローバル機能の双方向統合を可能にする。
  論文  参考訳（メタデータ） (2023-04-13T05:22:24Z)
• Tutel: Adaptive Mixture-of-Experts at Scale [20.036168971435306]
  深層学習モデルを数兆以上のパラメータに拡張するために、計算コストを固定化するために、疎ゲート混合(MoE)が広く採用されている。 我々は、動的適応並列性とパイプライン化を備えたMoEのための高度にスケーラブルなスタック設計と実装であるFlexを紹介します。 我々の評価では、Flexは、最先端のコンピュータビジョンアーキテクチャであるSwin Transformer V2上に構築された実世界のMoEベースのモデルSwinV2-MoEを効率的に効率的に実行している。
  論文  参考訳（メタデータ） (2022-06-07T15:20:20Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。