論文の概要: An ultra-low-power CGRA for accelerating Transformers at the edge

• arxiv url: http://arxiv.org/abs/2507.12904v1
• Date: Thu, 17 Jul 2025 08:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.412724
• Title: An ultra-low-power CGRA for accelerating Transformers at the edge
• Title（参考訳）: 変圧器の端部加速のための超低出力CGRA
• Authors: Rohit Prasad,
• Abstract要約: 本稿では,変圧器モデルにおける汎用行列乗算(GEMM)演算を高速化する,超低消費電力粗粒再構成可能アレイ(CGRA)アーキテクチャを提案する。 提案アーキテクチャでは,効率的な並列計算のための処理要素の4 x 4配列と,最適化されたLOAD/STORE操作のための専用の4 x 2メモリ操作ブロック(MOB)を統合している。 スイッチレスメッシュトーラス相互接続ネットワークは、PEとMOB間の直接通信を可能にすることにより、電力と遅延を最小化する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers have revolutionized deep learning with applications in natural language processing, computer vision, and beyond. However, their computational demands make it challenging to deploy them on low-power edge devices. This paper introduces an ultra-low-power, Coarse-Grained Reconfigurable Array (CGRA) architecture specifically designed to accelerate General Matrix Multiplication (GEMM) operations in transformer models tailored for the energy and resource constraints of edge applications. The proposed architecture integrates a 4 x 4 array of Processing Elements (PEs) for efficient parallel computation and dedicated 4 x 2 Memory Operation Blocks (MOBs) for optimized LOAD/STORE operations, reducing memory bandwidth demands and enhancing data reuse. A switchless mesh torus interconnect network further minimizes power and latency by enabling direct communication between PEs and MOBs, eliminating the need for centralized switching. Through its heterogeneous array design and efficient dataflow, this CGRA architecture addresses the unique computational needs of transformers, offering a scalable pathway to deploy sophisticated machine learning models on edge devices.
• Abstract（参考訳）: トランスフォーマーは、自然言語処理やコンピュータビジョンなどの応用でディープラーニングに革命をもたらした。 しかし、彼らの計算要求は、低消費電力のエッジデバイスにそれらをデプロイすることを困難にしている。 本稿では,エッジアプリケーションのエネルギーと資源の制約に適合したトランスフォーマーモデルにおいて,汎用行列乗算(GEMM)演算を高速化するために設計された,超低消費電力の粗い再構成可能アレイ(CGRA)アーキテクチャを提案する。 提案アーキテクチャは,効率的な並列計算のための4 x 4の処理要素配列(PE)と,最適化されたLOAD/STORE操作のための専用の4 x 2メモリ操作ブロック(MOB)を統合し,メモリ帯域幅の要求を低減し,データ再利用を向上する。 スイッチレスメッシュトーラス相互接続ネットワークは、PEとMOB間の直接通信を可能にし、集中的なスイッチングの必要性をなくすことにより、電力とレイテンシをさらに最小化する。 不均一な配列設計と効率的なデータフローを通じて、このCGRAアーキテクチャはトランスフォーマーのユニークな計算ニーズに対処し、エッジデバイスに洗練された機械学習モデルをデプロイするためのスケーラブルな経路を提供する。

関連論文リスト

• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Architecture and Hardware Implementation [0.0]
  TrIMは、入力の三角移動に基づく革新的なデータフローである。 TrIMは、最先端のシストリックアレイと比較して1桁のメモリアクセス数を削減できる。 アーキテクチャは、毎秒453.6ギガオペレーションのピークスループットを達成する。
  論文  参考訳（メタデータ） (2024-08-05T10:18:00Z)
• ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks [2.9699290794642366]
  ARTEMISは、トランスフォーマーモデルのための混合アナログ確率型インDRAMアクセラレータである。 解析の結果、ARTEMISはGPU、TPU、CPU、最先端のPIMトランスハードウェアアクセラレータと比較して、少なくとも3.0倍のスピードアップ、1.8倍のエネルギー、そして1.9倍のエネルギー効率を示した。
  論文  参考訳（メタデータ） (2024-07-17T15:08:14Z)
• Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures [5.46396577345121]
  人工知能におけるトランスフォーマーモデルの複雑さは、計算コスト、メモリ使用量、エネルギー消費を拡大します。 ハードウェアアクセラレーターのカーネルサイズに支配される新しいメモリアレンジメント戦略を提案し,オフチップデータアクセスを効果的に最小化する。 我々の手法は、最先端の変圧器を用いた推論を実行する場合、最大2.8倍の速度向上を実現することができる。
  論文  参考訳（メタデータ） (2023-12-20T13:01:25Z)
• RACE-IT: A Reconfigurable Analog CAM-Crossbar Engine for In-Memory Transformer Acceleration [21.196696191478885]
  Transformer ModelはDeep Neural Networks(DNN)の最先端を表現している。 これらのモデルを処理するには、かなりの計算資源が必要で、結果としてかなりのメモリフットプリントが要求される。 本稿では,トランスフォーマ内で様々な非MVM操作を行うことのできる新しいAnalog Content Addressable Memory(ACAM)構造を提案する。
  論文  参考訳（メタデータ） (2023-11-29T22:45:39Z)
• Containing Analog Data Deluge at Edge through Frequency-Domain Compression in Collaborative Compute-in-Memory Networks [0.0]
  本稿では,ディープラーニング推論タスクにおける領域効率向上のための新しい手法を提案する。 アナログデータをより効率的に処理することにより、センサからの貴重なデータを選択的に保持し、アナログデータデルージュによる課題を軽減することができる。
  論文  参考訳（メタデータ） (2023-09-20T03:52:04Z)
• ADC/DAC-Free Analog Acceleration of Deep Neural Networks with Frequency Transformation [2.7488316163114823]
  本稿では,アナログ領域の周波数ベーステンソル変換を用いた周波数領域ニューラルネットワークのエネルギー効率向上手法を提案する。 提案手法は,変換行列のトレーニング可能なパラメータを不要にすることで,よりコンパクトなセルを実現する。 16$times$16のクロスバーで8ビット入力処理を行い,Watt当たりの1602テラ演算のエネルギー効率を実現する。
  論文  参考訳（メタデータ） (2023-09-04T19:19:39Z)
• MB-TaylorFormer: Multi-branch Efficient Transformer Expanded by Taylor Formula for Image Dehazing [88.61523825903998]
  トランスフォーマーネットワークは、コンピュータビジョンの分野における純粋な畳み込みニューラルネットワーク(CNN)を置き換えるようになった。 そこで本研究では,Taylor拡張を応用してソフトマックスアテンションを近似し,線形計算複雑性を実現するトランスフォーマー変種を提案する。 提案するTransformerにマルチスケールパッチを組み込んだマルチブランチアーキテクチャを導入する。 Taylor式(MB-TaylorFormer)により拡張されたMulti-branch Transformerと呼ばれる我々のモデルは、パッチ埋め込み段階でより柔軟に粗さを微細な特徴に埋め込むことができ、計算コストに制限のある長距離画素相互作用を捉えることができる。
  論文  参考訳（メタデータ） (2023-08-27T08:10:23Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。