論文の概要: Spiking Transformer Hardware Accelerators in 3D Integration

• arxiv url: http://arxiv.org/abs/2411.07397v1
• Date: Mon, 11 Nov 2024 22:08:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:32.649267
• Title: Spiking Transformer Hardware Accelerators in 3D Integration
• Title（参考訳）: 3D統合におけるスポーキングトランスのハードウェアアクセラレータ
• Authors: Boxun Xu, Junyoung Hwang, Pruek Vanna-iampikul, Sung Kyu Lim, Peng Li,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は計算の強力なモデルであり、リソース制約のあるエッジデバイスやニューロモルフィックハードウェアに適している。 近年出現したスパイク変圧器は、スパイク動作のバイナリ特性を生かして、性能と効率性が期待できる。
• 参考スコア（独自算出の注目度）: 5.426379844893919
• License:
• Abstract: Spiking neural networks (SNNs) are powerful models of spatiotemporal computation and are well suited for deployment on resource-constrained edge devices and neuromorphic hardware due to their low power consumption. Leveraging attention mechanisms similar to those found in their artificial neural network counterparts, recently emerged spiking transformers have showcased promising performance and efficiency by capitalizing on the binary nature of spiking operations. Recognizing the current lack of dedicated hardware support for spiking transformers, this paper presents the first work on 3D spiking transformer hardware architecture and design methodology. We present an architecture and physical design co-optimization approach tailored specifically for spiking transformers. Through memory-on-logic and logic-on-logic stacking enabled by 3D integration, we demonstrate significant energy and delay improvements compared to conventional 2D CMOS integration.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は時空間計算の強力なモデルであり、リソース制約されたエッジデバイスや低消費電力のためニューロモルフィックハードウェアへの展開に適している。 最近登場したスパイキングトランスフォーマーは、スパイキング操作のバイナリの性質を活かして、有望なパフォーマンスと効率を誇示している。 本稿では, スパイキングトランスのハードウェアサポートが不足していることを認識し, 3Dスパイキングトランスのハードウェアアーキテクチャと設計手法に関する最初の研究について述べる。 スパイキングトランスに特化して設計されたアーキテクチャと物理設計の協調最適化手法を提案する。 メモリ・オン・ロジック・ロジック・オン・ロジック・スタックリングを3D統合で実現し,従来の2D CMOS統合に比べてエネルギーと遅延が大幅に改善されたことを示す。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks [2.9699290794642366]
  ARTEMISは、トランスフォーマーモデルのための混合アナログ確率型インDRAMアクセラレータである。 解析の結果、ARTEMISはGPU、TPU、CPU、最先端のPIMトランスハードウェアアクセラレータと比較して、少なくとも3.0倍のスピードアップ、1.8倍のエネルギー、そして1.9倍のエネルギー効率を示した。
  論文  参考訳（メタデータ） (2024-07-17T15:08:14Z)
• Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment [3.391499691517567]
  トランスフォーマーモデルはAIタスクに革命をもたらしたが、その大きなサイズはリソース制約やレイテンシクリティカルなエッジデバイスへの実際のデプロイメントを妨げる。 本稿では, アルゴリズム, ハードウェア, 共同最適化の3つの側面から, トランスフォーマーのエンドツーエンド配置を効率的に行うための設計手法を提案する。 実験の結果,2.14-49.37倍のスループット向上と3.72-88.53倍のエネルギー効率を実現した。
  論文  参考訳（メタデータ） (2024-07-16T12:36:10Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Hierarchical Point Attention for Indoor 3D Object Detection [111.04397308495618]
  本研究は、点ベース変圧器検出器の汎用階層設計として、2つの新しい注意操作を提案する。 まず、よりきめ細かい特徴学習を可能にするために、シングルスケールの入力機能からマルチスケールトークンを構築するマルチスケール注意(MS-A)を提案する。 第2に,適応型アテンション領域を持つサイズ適応型ローカルアテンション(Local-A)を提案する。
  論文  参考訳（メタデータ） (2023-01-06T18:52:12Z)
• Cross-Attention of Disentangled Modalities for 3D Human Mesh Recovery with Transformers [17.22112222736234]
  トランスフォーマーエンコーダアーキテクチャは近年,モノキュラー3次元メッシュ再構築における最先端の成果を達成している。 メモリのオーバーヘッドが大きく、推論速度が遅いため、そのようなモデルを実用的な用途に展開することは困難である。 本稿では,FastMETROと呼ばれる単一画像からの3次元メッシュ再構成のためのトランスフォーマエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-27T22:54:09Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Transformer Acceleration with Dynamic Sparse Attention [20.758709319088865]
  本稿では,トランスフォーマーの注意における動的間隔を効果的に活用する動的スパース注意(DSA)を提案する。 われわれのアプローチは、精度とモデルの複雑さのトレードオフを改善することができる。
  論文  参考訳（メタデータ） (2021-10-21T17:31:57Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。