論文の概要: FlexViT: A Flexible FPGA-based Accelerator for Edge Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.31938v1
• Date: Tue, 30 Jun 2026 16:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.316478
• Title: FlexViT: A Flexible FPGA-based Accelerator for Edge Vision Transformers
• Title（参考訳）: FlexViT:エッジビジョントランスのためのフレキシブルFPGAベースのアクセラレータ
• Abstract要約: 資源制約のあるエッジデバイス上での効率的なViT推論のための再構成可能なFPGAアクセラレータFlexViTを提案する。 本稿では,実行時にコンピュータアレイを再構成することで,入力と重量の再利用を切り替えるデュアルモードデータフローを提案する。 PYNQ-Z2 FPGA 上で FlexViT を実装し,それを代表的な ViT モデルで評価する。
• 参考スコア（独自算出の注目度）: 0.6741942263052466
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deploying Vision Transformer (ViT) models on edge platforms remains challenging due to their high computational demands and the architectural heterogeneity of modern hybrid ViT models, which incorporate both fully connected and convolutional layers. This heterogeneity leads to significant variation in tensor shapes, requiring flexible and efficient FPGA-based acceleration. In this paper, we present FlexViT, a reconfigurable FPGA accelerator for efficient ViT inference on resource-constrained edge devices. Built on the SECDA-TFLite framework, FlexViT employs a hardware-software co-design approach that maps both fully connected and convolutional layers onto a unified high-throughput INT8 GEMM engine using a runtime im2col transformation. To efficiently support diverse layer configurations, we propose a dual-mode dataflow that dynamically switches between input and weight reuse by reconfiguring the compute array at runtime. We further introduce a depth-first tiling strategy that completes accumulation in a single pass, eliminating off-chip partial-sum transfers and reducing memory bandwidth requirements. We implement FlexViT on a PYNQ-Z2 FPGA and evaluate it across a representative set of ViT models. FlexViT achieves up to 2.74x speedup on accelerator-executed layers, translating into up to 1.40x end-to-end speedup compared to CPU-only execution. The code is available at: https://github.com/gicLAB/FlexViT
• Abstract（参考訳）: エッジプラットフォーム上でのビジョントランスフォーマー(ViT)モデルのデプロイは、その高い計算要求と、完全に接続された層と畳み込み層の両方を組み込んだ現代のハイブリッドViTモデルのアーキテクチャ上の不均一性のため、依然として困難である。 この不均一性はテンソル形状に大きな変化をもたらし、フレキシブルで効率的なFPGAベースの加速度を必要とする。 本稿では,資源制約エッジデバイス上での効率的なViT推論のための再構成可能なFPGAアクセラレータFlexViTを提案する。 SECDA-TFLiteフレームワーク上に構築されたFlexViTは、ハードウェアとソフトウェアの共同設計アプローチを採用しており、完全な接続層と畳み込み層の両方をランタイムim2col変換を使用して、統一された高スループットINT8 GEMMエンジンにマッピングする。 多様な層構成を効率的にサポートするために,実行時にコンピュータアレイを再構成することにより,入力と重み付けの動的切り換えを行うデュアルモードデータフローを提案する。 さらに,1パスの蓄積を完了し,チップ外部分サマー転送を排除し,メモリ帯域幅の要求を低減できる深さ優先型タイリング戦略を導入する。 PYNQ-Z2 FPGA 上で FlexViT を実装し,それを代表的な ViT モデルで評価する。 FlexViTはアクセラレータ実行層で最大2.74倍のスピードアップを実現し、CPUのみの実行と比較して最大1.40倍のエンドツーエンドのスピードアップに変換する。 コードは、https://github.com/gicLAB/FlexViTで入手できる。

関連論文リスト

• EA-ViT: Efficient Adaptation for Elastic Vision Transformer [37.442677800641164]
  ビジョントランスフォーマー(ViT)は、コンピュータビジョンの基礎モデルとして登場し、下流タスクへの一般化と適応性に優れている。 多様なリソース制約をサポートするためにViTをデプロイするには、通常、複数のサイズ固有のViTを再トレーニングする必要がある。 資源制約の異なるプラットフォーム上でのデプロイにおいて,単一のプロセスでさまざまなサイズで複数のモデルを生成することが可能な,効率的なViT適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-25T15:11:09Z)
• Your ViT is Secretly an Image Segmentation Model [50.71238842539735]
  Vision Transformer (ViT) は、様々なコンピュータビジョンタスクにおいて、顕著なパフォーマンスとスケーラビリティを示している。 タスク固有のコンポーネントによって導入された帰納バイアスは、代わりにViT自身で学習できることを示す。 画像セグメンテーションを行うためにプレーンな ViT アーキテクチャを再利用した Mask Transformer (EoMT) を導入する。
  論文  参考訳（メタデータ） (2025-03-24T19:56:02Z)
• HG-PIPE: Vision Transformer Acceleration with Hybrid-Grained Pipeline [13.849471252921004]
  フィールドプログラマブルゲートアレイ(FPGA)を用いたビジョントランスフォーマー(ViT)アクセラレーションは有望だが難しい。 HG-PIPEは、高スループットかつ低レイテンシなViT処理のためのパイプラインFPGAアクセラレータである。 VCK190 FPGAでは、HG-PIPEは単一のデバイス上でエンドツーエンドのViTアクセラレーションを実現し、V100 GPUの2.81倍の7118イメージ/sを達成する。
  論文  参考訳（メタデータ） (2024-07-25T08:47:40Z)
• Iterative Filter Pruning for Concatenation-based CNN Architectures [9.651318927588934]
  現代の物体検出器は、連結を伴う高度に相互接続された畳み込み層を有する。 本稿では,畳み込み層間の接続グラフに基づいて,連結層を扱う手法を提案する。 FPGAとNVIDIA Jetson Xavier AGXにプルーンドモデルをデプロイする。
  論文  参考訳（メタデータ） (2024-05-04T19:40:42Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
  本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。 本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-01-15T09:31:58Z)
• Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization [78.18328503396057]
  コンピュータビジョンタスクにおいて、視覚変換器(ViT)は大幅に精度が向上している。 本研究は,提案した混合スキーム量子化に基づくFPGA対応自動ViT加速フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-10T05:54:46Z)
• Tutel: Adaptive Mixture-of-Experts at Scale [20.036168971435306]
  深層学習モデルを数兆以上のパラメータに拡張するために、計算コストを固定化するために、疎ゲート混合(MoE)が広く採用されている。 我々は、動的適応並列性とパイプライン化を備えたMoEのための高度にスケーラブルなスタック設計と実装であるFlexを紹介します。 我々の評価では、Flexは、最先端のコンピュータビジョンアーキテクチャであるSwin Transformer V2上に構築された実世界のMoEベースのモデルSwinV2-MoEを効率的に効率的に実行している。
  論文  参考訳（メタデータ） (2022-06-07T15:20:20Z)
• VAQF: Fully Automatic Software-hardware Co-design Framework for Low-bit Vision Transformer [121.85581713299918]
  量子化ビジョントランス(ViT)のためのFPGAプラットフォーム上で推論アクセラレータを構築するフレームワークVAQFを提案する。 モデル構造と所望のフレームレートから、VAQFはアクティベーションに必要な量子化精度を自動的に出力する。 FPGA上でのViTアクセラレーションに量子化が組み込まれたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-01-17T20:27:52Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。