論文の概要: TRON: Transformer Neural Network Acceleration with Non-Coherent Silicon
Photonics
- arxiv url: http://arxiv.org/abs/2303.12914v1
- Date: Wed, 22 Mar 2023 21:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 16:28:44.557289
- Title: TRON: Transformer Neural Network Acceleration with Non-Coherent Silicon
Photonics
- Title(参考訳): TRON:非コヒーレントシリコンフォトニクスを用いたトランスフォーマーニューラルネットワーク高速化
- Authors: Salma Afifi, Febin Sunny, Mahdi Nikdast, Sudeep Pasricha
- Abstract要約: 我々は、BERTやVision Transformersといったトランスフォーマーベースのモデルのための、TRONと呼ばれる最初のシリコンフォトニックハードウェアニューラルネットワークアクセラレータを提案する。
我々の分析では、TRONは最先端のトランスフォーマーアクセラレータと比較して、少なくとも14倍のスループットと8倍のエネルギー効率を示します。
- 参考スコア(独自算出の注目度): 4.616703548353372
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformer neural networks are rapidly being integrated into
state-of-the-art solutions for natural language processing (NLP) and computer
vision. However, the complex structure of these models creates challenges for
accelerating their execution on conventional electronic platforms. We propose
the first silicon photonic hardware neural network accelerator called TRON for
transformer-based models such as BERT, and Vision Transformers. Our analysis
demonstrates that TRON exhibits at least 14x better throughput and 8x better
energy efficiency, in comparison to state-of-the-art transformer accelerators.
- Abstract(参考訳): トランスフォーマーニューラルネットワークは、自然言語処理(NLP)とコンピュータビジョンのための最先端のソリューションに急速に統合されている。
しかし、これらのモデルの複雑な構造は、従来の電子プラットフォーム上での実行を加速するための課題を生み出している。
我々は、BERTやVision Transformersといったトランスフォーマーモデルのための、TRONと呼ばれる最初のシリコンフォトニックハードウェアニューラルネットワークアクセラレータを提案する。
我々の分析では、TRONは最先端のトランスフォーマーアクセラレータと比較して、少なくとも14倍のスループットと8倍のエネルギー効率を示します。
関連論文リスト
- Accelerating Neural Networks for Large Language Models and Graph
Processing with Silicon Photonics [4.471962177124311]
大規模言語モデル(LLM)とグラフ処理は、自然言語処理(NLP)、コンピュータビジョン、グラフ構造化データアプリケーションのための変換技術として登場した。
しかし、これらのモデルの複雑な構造は、従来の電子プラットフォーム上での加速に挑戦する。
本稿では,LLMやグラフニューラルネットワークでグラフデータ処理に使用されるトランスフォーマーニューラルネットワークを高速化する,シリコンフォトニクスに基づくハードウェアアクセラレータについて述べる。
論文 参考訳(メタデータ) (2024-01-12T20:32:38Z) - A Survey of Techniques for Optimizing Transformer Inference [3.6258657276072253]
近年、トランスフォーマーニューラルネットワークの性能と応用が飛躍的に上昇している。
ChatGPTのようなトランスフォーマーベースのネットワークは、一般的な男性の生活に影響を与えている。
研究者は、あらゆるレベルの抽象化でトランスフォーマー推論を最適化する手法を提案している。
論文 参考訳(メタデータ) (2023-07-16T08:50:50Z) - ITA: An Energy-Efficient Attention and Softmax Accelerator for Quantized
Transformers [13.177523799771635]
トランスフォーマーネットワークは、自然言語処理タスクの最先端のアプローチとして登場した。
トランスモデルの効率的なハードウェアアクセラレーションは、高い演算強度、大きなメモリ要件、複雑なデータフロー依存性のために、新たな課題をもたらす。
組込みシステムにおける効率的な推論を目的としたトランスフォーマーおよび関連モデルのための新しいアクセラレータアーキテクチャ ITA を提案する。
論文 参考訳(メタデータ) (2023-07-07T10:05:38Z) - The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。
我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
論文 参考訳(メタデータ) (2021-10-25T17:01:29Z) - Augmented Shortcuts for Vision Transformers [49.70151144700589]
視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。
本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。
ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2021-06-30T09:48:30Z) - Combining Transformer Generators with Convolutional Discriminators [9.83490307808789]
最近提案されたTransGANはトランスフォーマーアーキテクチャのみを使用した最初のGANである。
TransGANは、データ拡張、トレーニング中の補助的な超解像タスク、そして自己保持メカニズムを導く前にマスクを必要とする。
我々は、よく知られたCNN識別器のベンチマークを行い、トランスフォーマーベースジェネレータのサイズを減らし、両方のアーキテクチャ要素をハイブリッドモデルに組み込むことにより、より良い結果をもたらすことを示す。
論文 参考訳(メタデータ) (2021-05-21T07:56:59Z) - Rethinking the Design Principles of Robust Vision Transformer [28.538786330184642]
視覚トランスフォーマー (vit) は、従来の畳み込みニューラルネットワーク (cnns) をほとんどの視覚タスクで上回っていることを示した。
本稿では, ViTs の設計原理を堅牢性に基づいて再考する。
堅牢な設計部品を組み合わせることで、ロバストビジョントランス(RVT)を提案します。
論文 参考訳(メタデータ) (2021-05-17T15:04:15Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Transformer in Transformer [59.066686278998354]
パッチレベルとピクセルレベルの表現の両方をモデル化するトランスフォーマー・iN変換器(TNT)モデルを提案する。
我々のTNTはImageNetで811.3%の精度を達成しており、同様の計算コストでDeiTよりも1.5%高い。
論文 参考訳(メタデータ) (2021-02-27T03:12:16Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳(メタデータ) (2021-01-04T18:57:24Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳(メタデータ) (2020-12-23T09:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。