論文の概要: A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation

• arxiv url: http://arxiv.org/abs/2002.10941v1
• Date: Sat, 22 Feb 2020 02:09:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 19:46:48.002853
• Title: A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation
• Title（参考訳）: a$^3$:近似ニューラルネットワークにおける注意の促進機構
• Authors: Tae Jun Ham, Sung Jun Jung, Seonghak Kim, Young H. Oh, Yeonhong Park, Yoonho Song, Jung-Hun Park, Sanghee Lee, Kyoung Park, Jae W. Lee, Deog-Kyoon Jeong
• Abstract要約: アルゴリズム近似とハードウェア特殊化によるニューラルネットワークの注意機構を高速化するA3の設計と設計を行う。 提案する加速器は、エネルギー効率(性能/ワット)の大幅な向上と、最先端の従来のハードウェアの大幅な高速化を実現している。
• 参考スコア（独自算出の注目度）: 3.5217810503607896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing computational demands of neural networks, many hardware accelerators for the neural networks have been proposed. Such existing neural network accelerators often focus on popular neural network types such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs); however, not much attention has been paid to attention mechanisms, an emerging neural network primitive that enables neural networks to retrieve most relevant information from a knowledge-base, external memory, or past states. The attention mechanism is widely adopted by many state-of-the-art neural networks for computer vision, natural language processing, and machine translation, and accounts for a large portion of total execution time. We observe today's practice of implementing this mechanism using matrix-vector multiplication is suboptimal as the attention mechanism is semantically a content-based search where a large portion of computations ends up not being used. Based on this observation, we design and architect A3, which accelerates attention mechanisms in neural networks with algorithmic approximation and hardware specialization. Our proposed accelerator achieves multiple orders of magnitude improvement in energy efficiency (performance/watt) as well as substantial speedup over the state-of-the-art conventional hardware.
• Abstract（参考訳）: ニューラルネットワークの計算要求の増大に伴い、ニューラルネットワークのためのハードウェアアクセラレータが数多く提案されている。 このような既存のニューラルネットワークアクセラレータは、畳み込みニューラルネットワーク(CNN)やリカレントニューラルネットワーク(RNN)といった一般的なニューラルネットワークタイプに注目することが多いが、ニューラルネットワークが知識ベース、外部メモリ、過去の状態から最も関連性の高い情報を取得できる新興のニューラルネットワークプリミティブである注意機構にはあまり注目されていない。 注意機構はコンピュータビジョン、自然言語処理、機械翻訳など、最先端のニューラルネットワークの多くで広く採用されており、全体の実行時間の大部分を占めている。 行列ベクトル乗算を用いた今日のこの機構の実装は、注意機構が意味論的に、大量の計算が使われないコンテンツベースの探索であるため、最適ではない。 この観測に基づいて、アルゴリズム近似とハードウェア特殊化によるニューラルネットワークの注意機構を高速化するA3の設計と設計を行う。 提案する加速器は省エネ効率(性能/消費電力)を複数桁改善するとともに,従来型ハードウェアの大幅な高速化を実現している。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics [0.0]
  リビングニューラルネットワークは、消費電力の低減、処理の高速化、生物学的リアリズムの利点を提供する。 本研究は,オプトジェネティクスによる精密アクティベーションを用いたSTDPベースのアルゴリズムを逆伝播させることにより,間接的に訓練されたシミュレーション型生きたニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-01-17T04:42:49Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Neural Network Quantization for Efficient Inference: A Survey [0.0]
  ニューラルネットワークの量子化は、最近、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために発生した。 本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
  論文  参考訳（メタデータ） (2021-12-08T22:49:39Z)
• WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting [1.0152838128195467]
  拡張時間畳み込みの自然な代替としてスパイキングニューラルダイナミクスを提案する。 このアイデアをWaveNetアーキテクチャにインスパイアされたスパイクニューラルネットワークであるWaveSenseに拡張します。
  論文  参考訳（メタデータ） (2021-11-02T09:38:22Z)
• Deep physical neural networks enabled by a backpropagation algorithm for arbitrary physical systems [3.7785805908699803]
  本稿では,ディープニューラルネットワークモデルを実現するための急進的な代替手段を提案する。 ニューラルネットとして機能する制御可能な物理システムのシーケンスを効率的に学習するために,物理認識トレーニングと呼ばれるハイブリッド物理デジタルアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-04-27T18:00:02Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。