Fugu-MT 論文翻訳(概要): TRON: Transformer Neural Network Acceleration with Non-Coherent Silicon Photonics

論文の概要: TRON: Transformer Neural Network Acceleration with Non-Coherent Silicon Photonics

arxiv url: http://arxiv.org/abs/2303.12914v1
Date: Wed, 22 Mar 2023 21:09:49 GMT
ステータス: 処理完了
システム内更新日: 2023-03-24 16:28:44.557289
Title: TRON: Transformer Neural Network Acceleration with Non-Coherent Silicon Photonics
Title（参考訳）: TRON:非コヒーレントシリコンフォトニクスを用いたトランスフォーマーニューラルネットワーク高速化
Authors: Salma Afifi, Febin Sunny, Mahdi Nikdast, Sudeep Pasricha
Abstract要約: 我々は、BERTやVision Transformersといったトランスフォーマーベースのモデルのための、TRONと呼ばれる最初のシリコンフォトニックハードウェアニューラルネットワークアクセラレータを提案する。我々の分析では、TRONは最先端のトランスフォーマーアクセラレータと比較して、少なくとも14倍のスループットと8倍のエネルギー効率を示します。
参考スコア（独自算出の注目度）: 4.616703548353372
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Transformer neural networks are rapidly being integrated into state-of-the-art solutions for natural language processing (NLP) and computer vision. However, the complex structure of these models creates challenges for accelerating their execution on conventional electronic platforms. We propose the first silicon photonic hardware neural network accelerator called TRON for transformer-based models such as BERT, and Vision Transformers. Our analysis demonstrates that TRON exhibits at least 14x better throughput and 8x better energy efficiency, in comparison to state-of-the-art transformer accelerators.
Abstract（参考訳）: トランスフォーマーニューラルネットワークは、自然言語処理(NLP)とコンピュータビジョンのための最先端のソリューションに急速に統合されている。しかし、これらのモデルの複雑な構造は、従来の電子プラットフォーム上での実行を加速するための課題を生み出している。我々は、BERTやVision Transformersといったトランスフォーマーモデルのための、TRONと呼ばれる最初のシリコンフォトニックハードウェアニューラルネットワークアクセラレータを提案する。我々の分析では、TRONは最先端のトランスフォーマーアクセラレータと比較して、少なくとも14倍のスループットと8倍のエネルギー効率を示します。

関連論文リスト

ViT-LCA: A Neuromorphic Approach for Vision Transformers [0.0]
本稿では、視覚変換器と局所競合アルゴリズム(LCA)を組み合わせて、効率的なニューロモルフィック展開を容易にする新しいモデルを提案する。実験の結果、VT-LCAはImageNet-1Kデータセット上で高い精度を実現し、他のスパイキング視覚変換器よりもはるかに少ないエネルギーを消費することがわかった。
論文参考訳（メタデータ） (2024-10-31T18:41:30Z)
On the Design Space Between Transformers and Recursive Neural Nets [64.862738244735]
連続再帰型ニューラルネットワーク(CRvNN)とニューラルデータルータ(NDR)について検討した。 CRvNNは従来のRvNNの境界を押し上げ、その離散的な構造的な構成を緩和し、最終的にTransformerのような構造になる。 NDRはオリジナルのTransformerを制約し、より優れた構造的帰納バイアスを誘発し、CRvNNに近いモデルに終止符を打つ。
論文参考訳（メタデータ） (2024-09-03T02:03:35Z)
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks [2.9699290794642366]
ARTEMISは、トランスフォーマーモデルのための混合アナログ確率型インDRAMアクセラレータである。解析の結果、ARTEMISはGPU、TPU、CPU、最先端のPIMトランスハードウェアアクセラレータと比較して、少なくとも3.0倍のスピードアップ、1.8倍のエネルギー、そして1.9倍のエネルギー効率を示した。
論文参考訳（メタデータ） (2024-07-17T15:08:14Z)
EEGEncoder: Advancing BCI with Transformer-Based Motor Imagery Classification [11.687193535939798]
脳-コンピュータインタフェース(BCI)は、脳波信号を用いてデバイスを直接神経制御する。脳波に基づく運動画像(MI)分類のための従来の機械学習手法は、手動の特徴抽出やノイズに対する感受性といった課題に遭遇する。本稿では,これらの制限を克服するために改良型トランスフォーマーとTCNを用いたディープラーニングフレームワークであるEEGEncoderを紹介する。
論文参考訳（メタデータ） (2024-04-23T09:51:24Z)
Accelerating Neural Networks for Large Language Models and Graph Processing with Silicon Photonics [4.471962177124311]
大規模言語モデル(LLM)とグラフ処理は、自然言語処理(NLP)、コンピュータビジョン、グラフ構造化データアプリケーションのための変換技術として登場した。しかし、これらのモデルの複雑な構造は、従来の電子プラットフォーム上での加速に挑戦する。本稿では,LLMやグラフニューラルネットワークでグラフデータ処理に使用されるトランスフォーマーニューラルネットワークを高速化する,シリコンフォトニクスに基づくハードウェアアクセラレータについて述べる。
論文参考訳（メタデータ） (2024-01-12T20:32:38Z)
A Survey of Techniques for Optimizing Transformer Inference [3.6258657276072253]
近年、トランスフォーマーニューラルネットワークの性能と応用が飛躍的に上昇している。 ChatGPTのようなトランスフォーマーベースのネットワークは、一般的な男性の生活に影響を与えている。研究者は、あらゆるレベルの抽象化でトランスフォーマー推論を最適化する手法を提案している。
論文参考訳（メタデータ） (2023-07-16T08:50:50Z)
The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
論文参考訳（メタデータ） (2021-10-25T17:01:29Z)
Augmented Shortcuts for Vision Transformers [49.70151144700589]
視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
論文参考訳（メタデータ） (2021-06-30T09:48:30Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文参考訳（メタデータ） (2021-01-04T18:57:24Z)
A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文参考訳（メタデータ） (2020-12-23T09:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。